Sledování pokroku japonského učitele AI: Metriky, protokoly a měsíční samotesty

Proč relace AI potřebují svá vlastní opatření

Testy a úrovně měří, co víte. Nácvik konverzace s umělou inteligencí je o tom, co můžete dělat v daný okamžik, a oba se od sebe vzdalují více, než studenti očekávají. Student, který projde písemným testem, může v hraní rolí stále provést opravu každých deset sekund a student se skromnou slovní zásobou projde obchodem, klinikou a telefonátem téměř bez klopýtnutí. Pokud je cílem mluvení, opatření by měla pocházet z mluvení.

Dobrou zprávou je, že AI Sensei zlevňuje měření. Každá relace končí opravným seznamem, každá mise má jasný cíl a stejný úkol lze opakovat přesně o měsíc později. Tato opakovatelnost je něco, co žádná lidská konverzace nenabízí, a je základem každé metriky níže.

UnihongoAI japonské učení

先月せんげつより間違いまちがいが減りへりました。Ve srovnání s minulým měsícem ubylo mých chyb.

Opravy za minutu u opakovaného úkolu

Jediným nejužitečnějším číslem je počet oprav, které obdržíte za minutu svého vlastního mluvení u úkolu, který jste dělali dříve. Na opakování záleží. Nový úkol vždy přináší více oprav, protože se setkáte s novou slovní zásobou a novými situacemi, takže porovnání nové mise se starou vám řekne o misích, ne o vás. Vyberte si tři úkoly ukotvení během prvního týdne, poznamenejte si opravy a zhruba dobu, kdy jste mluvili, a opakujte je jednou za měsíc.

Při zapisování roztřiďte opravy na hrubé typy: částice, slovesné tvary, zdvořilost, výběr slov, výslovnost. Celkový pád je dobrý; změna mixu je zajímavější. Chyby částic obvykle vyblednou jako první, chyby zdvořilosti později a chyby ve výběru slov jako poslední, protože potřebují co nejširší expozici. Pokud jeden typ neklesá po dvou měsících, mělo by to být místo, kde by sezení dalšího měsíce měla směřovat.

Nehonit se za nulou. Kotva bez oprav vás přestala učit; vyměňte jej za tvrdší.

Témata a situace dokončeny

Druhým měřítkem je pokrytí: kolik situací nyní můžete zvládnout od prvního pozdravu do konce, aniž byste požádali o pomoc nebo změnili jazyk. To je blíže tomu, co od japonštiny skutečně chcete, než jakékoli skóre. Uchovávejte si seznam situací, každou z nich zaškrtněte, když ji poprvé dokončíte bez pomoci, a druhou značku přidejte, když ji můžete dokončit v těžších podmínkách, jako je rychlejší nebo méně spolupracující partner.

Situace přichází v rodinách. Jakmile se můžete ubytovat v hotelu, jste většinou na cestě k odbavení na klinice nebo v posilovně, protože tvar výměny je stejný. Zaznamenejte situace podle rodiny, abyste viděli, které jsou pokryty a které ne, a nechte mezery, aby si vybrali mise na příští měsíc. Student, který zaškrtl každou situaci v obchodě a žádné pracoviště, přesně neví, co dělat dál.

Fráze zachovány po měsíci

Třetí opatření zachycuje to, co relace skrývají: zapomínání. Fráze, kterou jste správně použili při hraní rolí, se zdá naučená, ale skutečným testem je, zda ji dokážete vyslovit i o měsíc později bez kontextu, který k tomu vedl. Po každé relaci přidejte do protokolu dvě nebo tři fráze, které si chcete ponechat, se situací v angličtině. O měsíc později dejte Senseiovi anglické situace a pokuste se vyrobit Japonce.

Ohodnoťte to jednoduše: vyrobeno správně, vyrobeno s korekcí nebo nevytvořeno. Deset frází testovaných měsíčně poskytuje údaj o udržení, který lze snadno porovnat. Nízká retence není selháním; říká vám, že fráze nejsou znovu používány, a opravou je přenést je do telefonických chatů a opakovaných misí, než přidávat další.

Měsíční autotest

Spojte tři opatření dohromady do jednoho sezení v pevné datum každý měsíc. Trvá to asi půl hodiny a vytvoří jeden řádek v kládě. Pokaždé zachovejte stejný formát, protože hodnota je ve srovnání, nikoli v žádném jednotlivém výsledku.

• Znovu spusťte tři úlohy ukotvení a pro každou z nich zaznamenejte opravy za minutu
• Požádejte Senseie, aby seřadil opravy podle typu a poznamenejte si mix
• Zaškrtněte jakoukoli situaci dokončenou bez pomoci poprvé v tomto měsíci
• Znovu otestujte deset frází z deníku z minulého měsíce a ohodnoťte je
• Držte pětiminutový bezplatný chat na nové téma a počítejte žádosti o pomoc
• Napište jeden řádek: datum, tři body kotvy, zaškrtnuté situace, udržení z deseti
• Vyberte si kotvy a mise příštího měsíce z nejslabšího sloupce

Chat zdarma na nové téma je v testu nejblíže skutečné konverzaci. Jeho počet, jak často jste potřebovali slovo, je ten, který musíte sledovat po dobu šesti měsíců.

Vedení deníku, který přežije

Logy umírají ambicemi. Stránka na relaci s úvahami, novými slovy a cíli je opuštěna během čtrnácti dnů. Záznam, který trvá, je jeden řádek na relaci, zapsaný v minutě poté, co se objeví opravy, plus jeden delší řádek za měsíc. Uchovávejte jej ve všem, co již denně otevíráte, v aplikaci pro poznámky nebo v tabulce, a nikdy to nepředělávejte.

Řádek relace obsahuje datum, úkol, počet oprav, minuty, kdy jste mluvili, a jednu opravu, kterou chcete zachovat. Tato poslední položka má dvojí povinnost: je to semeno pro zítřejší opakování telefonu a zdroj, ze kterého se čerpá test retence příští měsíc. Měsíční řádek obsahuje čísla autotestů. To je celý systém a stačí na první pohled vidět tři měsíce změn.

Co neměřit

Některá čísla se snadno sbírají a neříkají téměř nic o mluvení. Proužky měří návštěvnost a série jednoduchých chatů stojí za méně než tři náročné sezení týdně s dny odpočinku. Celkové minuty měří čas, ne to, co se v něm stalo. Počet slov z aplikace slovní zásoby měření rozpoznávání, což je dovednost, kterou má konverzace AI překročit. Počet sezení odměňuje krátkou, mělkou praxi.

Pocity jsou nejošidnější. Sezení, které bylo hrozné, plné oprav, je často to nejproduktivnější, a sezení, které se zdálo hladké, mohlo být jednoduše příliš snadné. Zaznamenejte si čísla, než zaznamenáte pocit, a pokud se tito dva během několika týdnů neshodnou, věřte číslům. Výjimkou je motivace: pokud protokol ukazuje pokrok a stále se bojíte relací, změňte formát, protože metoda, kterou nebudete dělat, nemá žádnou metriku, kterou by stálo za to sledovat.

Když se čísla přestanou pohybovat

Každý žák zasáhne měsíc, kdy se kotvy nezlepšují. Než cokoli změníte, zkontrolujte podmínky: byly relace kratší, hlučnější nebo na tvrdším nastavení než minule? Pokud se podmínky shodují a čísla jsou plochá, obvyklou příčinou je, že se praxe stala pohodlnou. Zvyšte obtížnost kotev, přidejte rodinu situací, kterým jste se vyhýbali, nebo požádejte Senseie, aby byl méně kooperativním partnerem.

Pokud je uchování paušální číslo, fráze se znovu nepoužívají; přesunout je do každodenních krátkých chatů. Pokud je počet volných hovorů plochý, zatímco se kotvy zlepšují, cvičili jste spíše skripty než konverzaci a opravou je více neskriptovaných témat. Plošina v logu není verdikt; je to protokol, který dělá svou práci a říká vám, co máte dále změnit.