Pourquoi les sessions d'IA ont besoin de leurs propres mesures
Les tests et les niveaux mesurent ce que vous savez. La pratique de la conversation avec l’IA concerne ce que vous pouvez faire sur le moment, et les deux s’éloignent plus que ce que les apprenants s’attendent. Un apprenant qui réussit un examen écrit peut toujours produire une correction toutes les dix secondes dans un jeu de rôle, et un apprenant avec un vocabulaire modeste peut se rendre dans un magasin, une clinique et un appel téléphonique sans trébucher. Si le but est de parler, les mesures doivent venir de la parole.
La bonne nouvelle est qu’un AI Sensei rend les mesures bon marché. Chaque session se termine par une liste de corrections, chaque mission a un point final clair et la même tâche peut être répétée exactement un mois plus tard. Cette répétabilité n’est quelque chose qu’aucune conversation humaine n’offre, et c’est la base de chaque mesure ci-dessous.
| japonais | Romaji | Signification |
|---|---|---|
| 先月より間違いが減りました。 | Sengetsu yori machigai ga herimashita. | Mes erreurs ont diminué par rapport au mois dernier. |
| この場面は最後まで一人でできました。 | Kono bamen wa saigo made hitori de dekimashita. | J'ai géré cette scène jusqu'au bout tout seul. |
| 進歩しているかどうか分かりません。 | Shinpo shite iru ka dō ka wakarimasen. | Je ne peux pas dire si je fais des progrès. |
| 同じ課題をもう一度やってみます。 | Onaji kadai o mō ichido yatte mimasu. | Je vais réessayer la même tâche. |
Corrections par minute sur une tâche répétée
Le nombre le plus utile est le nombre de corrections que vous recevez par minute de votre propre parole, sur une tâche que vous avez déjà effectuée. La répétition compte. Une nouvelle tâche produit toujours plus de corrections car vous rencontrez un nouveau vocabulaire et de nouvelles situations, donc comparer une nouvelle mission avec une ancienne vous renseigne sur les missions, pas sur vous. Choisissez trois tâches phares au cours de votre première semaine, notez les corrections et la durée approximative de votre conversation, et réexécutez-les une fois par mois.
Triez les corrections par types approximatifs lorsque vous les enregistrez : particules, formes verbales, politesse, choix des mots, prononciation. La chute totale est bonne ; le changement de mix est plus intéressant. Les erreurs de particules disparaissent généralement en premier, les erreurs de politesse plus tard et les erreurs de choix de mots en dernier, car elles nécessitent la plus grande exposition. Si un type ne diminue pas après deux mois, c'est là que devraient pointer les séances du mois suivant.
Ne poursuivez pas zéro. Une ancre sans corrections a cessé de vous enseigner ; remplacez-le par un plus dur.
| japonais | Romaji | Signification |
|---|---|---|
| 十分話して、直しは四つでした。 | Juppun hanashite, naoshi wa yottsu deshita. | J'ai parlé pendant dix minutes et j'ai eu quatre corrections. |
| 助詞の間違いはほとんどなくなりました。 | Joshi no machigai wa hotondo naku narimashita. | Les erreurs de particules ont presque disparu. |
| 敬語の間違いがまだ多いです。 | Keigo no machigai ga mada ōi desu. | Je fais encore beaucoup d'erreurs de keigo. |
| この課題はもう簡単すぎます。 | Kono kadai wa mō kantansugimasu. | Cette tâche est trop facile maintenant. |
| もっと難しい場面に変えてください。 | Motto muzukashii bamen ni kaete kudasai. | S'il vous plaît, changez-la pour une scène plus difficile. |
Sujets et situations complétés
La deuxième mesure est la couverture : combien de situations pouvez-vous désormais gérer du premier message d'accueil à la fin sans demander d'aide ni changer de langue. C'est plus proche de ce que vous attendez réellement du japonais que n'importe quel score. Gardez une liste de situations, cochez chacune d'elles la première fois que vous la terminez sans aide, et ajoutez une deuxième coche lorsque vous pouvez la terminer dans des conditions plus difficiles, comme un partenaire plus rapide ou moins coopératif.
Les situations arrivent dans les familles. Une fois que vous pouvez vous enregistrer dans un hôtel, vous êtes en grande partie sur la route pour vous enregistrer dans une clinique ou une salle de sport, car la forme de l'échange est la même. Enregistrez les situations par famille afin de voir lesquelles sont couvertes et lesquelles ne le sont pas, et laissez les lacunes choisir les missions du mois suivant. Un apprenant qui a coché toutes les situations d'atelier et aucun lieu de travail sait exactement quoi faire ensuite.
| Famille | Exemples de situations | Ce que cela montre |
|---|---|---|
| Achat | Dépanneur, café, distributeur de billets | Numéros, compteurs, réponses rapides |
| Se déplacer | Demander le chemin, les trains, les retards | Directions, heure, noms de lieux |
| Santé | Décrire les symptômes, pharmacie | Corps des mots, durée, degré |
| Logement | Visite d'un appartement, excuses du voisin | Conditions, demandes, refus poli |
| Problèmes | Portefeuille perdu, marchandise défectueuse, livraison manquée | Expliquer, négocier, keigo |
| Sociale | Izakaya, festival, discours d'adieu | Formes décontractées, invitations, sentiments |
| Téléphone | Réservation de restaurant, appel au travail | Écouter sans visages, confirmer |
| Travail | Entretien, réunion, traitement des réclamations | Registre formel, structure, désaccord |
| Urgences | Tremblement de terre dans un hôtel | Consignes, phrases courtes et calmes |
| Discussion libre | Opinions, histoires, plans | Maîtrise sans script |
Phrases retenues au bout d'un mois
La troisième mesure révèle ce que cachent les séances : l’oubli. Une phrase que vous avez utilisée correctement dans un jeu de rôle semble apprise, mais le véritable test est de savoir si vous pouvez encore la produire un mois plus tard sans le contexte qui l'a motivée. Après chaque séance, ajoutez deux ou trois phrases que vous souhaitez conserver au journal, avec la situation en anglais. Un mois plus tard, confiez au Sensei les situations anglaises et essayez de produire les japonaises.
Notez-le simplement : produit correctement, produit avec une correction ou non produit. Dix phrases testées mensuellement donnent un chiffre de rétention facile à comparer. Une faible rétention n’est pas un échec ; il vous indique que les phrases ne sont pas réutilisées et que la solution consiste à les intégrer dans les conversations téléphoniques et les missions répétées plutôt que d'en ajouter d'autres.
| japonais | Romaji | Signification |
|---|---|---|
| 先月覚えた表現を十個テストしてください。 | Sengetsu oboeta hyōgen o jukko tesuto shite kudasai. | S'il vous plaît, testez-moi sur dix expressions que j'ai apprises le mois dernier. |
| 状況を英語で言ってください。日本語で答えます。 | Jōkyō o Eigo de itte kudasai. Nihongo de kotaemasu. | Veuillez décrire la situation en anglais. Je répondrai en japonais. |
| 十個のうち七個言えました。 | Jukko no uchi nanako iemashita. | Je pourrais dire sept sur dix. |
| この表現は完全に忘れていました。 | Kono hyōgen wa kanzen ni wasurete imashita. | J'avais complètement oublié cette expression. |
| 来月もう一度確認します。 | Raigetsu mō ichido kakunin shimasu. | Je vérifierai à nouveau le mois prochain. |
L'autotest mensuel
Rassemblez les trois mesures en une seule séance à date fixe chaque mois. Cela prend environ une demi-heure et produit une ligne dans le journal. Gardez le format identique à chaque fois, car la valeur est dans la comparaison et non dans un résultat unique.
- Réexécutez les trois tâches d'ancrage et enregistrez les corrections par minute pour chacune
- Demander au Sensei de trier les corrections par type et noter le mix
- Cochez toute situation terminée sans aide pour la première fois ce mois-ci
- Testez à nouveau dix phrases du journal du mois dernier et notez-les
- Organisez une discussion gratuite de cinq minutes sur un nouveau sujet et comptez les demandes d'aide
- Écrivez une ligne : date, trois scores d'ancrage, situations cochées, rétention sur dix
- Choisissez les ancres et les missions du mois prochain dans la colonne la plus faible
Le chat gratuit sur un nouveau sujet est ce qui se rapproche le plus d’une vraie conversation lors du test. Son numéro, la fréquence à laquelle vous avez eu besoin d'un mot, est celui à surveiller sur six mois.
Tenir un journal qui survit
Les bûches meurent d'ambition. Une page par séance avec des réflexions, des mots nouveaux et des objectifs est abandonnée en quinze jours. Le journal dure une ligne par session, écrite dans la minute qui suit l'apparition des corrections, plus une ligne plus longue par mois. Conservez-le dans tout ce que vous ouvrez déjà quotidiennement, une application de notes ou une feuille de calcul, et ne le modifiez jamais.
Une ligne de session contient la date, la tâche, le nombre de corrections, les minutes que vous avez prononcées et la correction que vous souhaitez le plus conserver. Ce dernier élément remplit une double fonction : il constitue la graine de la réexécution téléphonique de demain et le pool à partir duquel le test de rétention du mois prochain est tiré. La ligne mensuelle contient les numéros d'autotest. C’est tout le système, et il suffit de constater d’un coup d’œil trois mois de changement.
| japonais | Romaji | Signification |
|---|---|---|
| 今日の記録を一行だけ書きます。 | Kyō no kiroku o ichigyō dake kakimasu. | Je n'écrirai qu'une seule ligne pour le compte rendu d'aujourd'hui. |
| いちばん覚えたい直しはこれです。 | Ichiban oboetai naoshi wa kore desu. | C’est la correction dont je veux le plus me souvenir. |
| 三か月分の記録を見比べました。 | San-kagetsu-bun no kiroku o mikurabemashita. | J'ai comparé trois mois de records. |
| 記録をつけると進歩が見えます。 | Kiroku o tsukeru to shinpo ga miemasu. | Lorsque je tiens un registre, je peux voir mes progrès. |
| 先生、今日の一番大事な直しはどれですか。 | Sensei, kyō no ichiban daiji na naoshi wa dore desu ka. | Sensei, quelle est la correction la plus importante d’aujourd’hui ? |
Ce qu'il ne faut pas mesurer
Certains chiffres sont faciles à collecter et ne disent presque rien sur la parole. Les séquences mesurent la fréquentation, et une séquence de discussions faciles vaut moins que trois séances difficiles par semaine avec des jours de repos. Le nombre total de minutes mesure le temps, pas ce qui s'y est passé. Le nombre de mots provenant d’une application de vocabulaire mesure la reconnaissance, compétence que la conversation IA est censée aller au-delà. Le nombre de séances récompense une pratique courte et superficielle.
Les sentiments sont les plus délicats. Une séance qui semble terrible, pleine de corrections, est souvent la plus productive, et une séance qui semble fluide a peut-être tout simplement été trop facile. Enregistrez les chiffres avant d'enregistrer le sentiment, et si les deux ne sont pas d'accord pendant plusieurs semaines, croyez les chiffres. L'exception est la motivation : si le journal montre des progrès et que vous redoutez toujours les sessions, changez le format, car une méthode que vous ne continuerez pas à appliquer n'a aucune métrique qui mérite d'être suivie.
| japonais | Romaji | Signification |
|---|---|---|
| 連続記録は気にしないことにしました。 | Renzoku kiroku wa ki ni shinai koto ni shimashita. | J'ai décidé de ne pas m'inquiéter de ma séquence. |
| 今日は大変だったけど、たくさん直してもらえた。 | Kyō wa taihen datta kedo, takusan naoshite moraeta. | Aujourd’hui, c’était difficile, mais j’ai eu beaucoup de corrections. |
| 楽だった練習はたぶん簡単すぎたんだと思う。 | Raku datta renshū wa tabun kantansugita n da to omou. | La pratique qui semblait facile était probablement trop facile. |
| 数字を見ると、ちゃんと進んでいます。 | Sūji o miru to, chanto susunde imasu. | Au vu des chiffres, j’avance correctement. |
Quand les chiffres arrêtent de bouger
Chaque apprenant atteint un mois où les ancrages ne s'améliorent pas. Avant de changer quoi que ce soit, vérifiez les conditions : les séances ont-elles été plus courtes, plus bruyantes ou sur un réglage plus dur que la dernière fois ? Si les conditions correspondent et que les chiffres sont stables, la cause habituelle est que la pratique est devenue confortable. Augmentez la difficulté des ancres, ajoutez une famille de situations que vous avez évitées ou demandez au Sensei d'être un partenaire moins coopératif.
Si la rétention est le chiffre fixe, les phrases ne sont pas réutilisées ; déplacez-les dans de courtes discussions quotidiennes. Si le nombre de conversations libres reste stable alors que les ancres s'améliorent, vous avez pratiqué des scripts plutôt que des conversations, et la solution concerne davantage de sujets non scénarisés. Un plateau dans le journal n’est pas un verdict ; c'est le journal qui fait son travail et vous indique quoi changer ensuite.
| japonais | Romaji | Signification |
|---|---|---|
| 今月は数字が変わりませんでした。 | Kongetsu wa sūji ga kawarimasen deshita. | Les chiffres n'ont pas changé ce mois-ci. |
| 練習が楽になりすぎたかもしれません。 | Renshū ga raku ni narisugita kamo shiremasen. | Peut-être que la pratique est devenue trop confortable. |
| 避けていた場面に挑戦します。 | Sakete ita bamen ni chōsen shimasu. | Je vais aborder les scènes que j'ai évitées. |
| 台本なしで話す練習を増やします。 | Daihon nashi de hanasu renshū o fuyashimasu. | Je ferai plus de pratique pour parler sans script. |