Monitoraggio dei progressi del tutor giapponese AI: metriche, registri e autotest mensili

Perché le sessioni di intelligenza artificiale necessitano di misure proprie

Test e livelli misurano ciò che sai. La pratica della conversazione con l’intelligenza artificiale riguarda ciò che puoi fare in questo momento e le due cose si allontanano più di quanto gli studenti si aspettino. Uno studente che supera una prova scritta può comunque produrre una correzione ogni dieci secondi in un gioco di ruolo, e uno studente con un vocabolario modesto può superare un negozio, una clinica e una telefonata senza inciampare. Se l’obiettivo è parlare, le misure dovrebbero venire dal parlare.

La buona notizia è che un AI Sensei rende la misurazione economica. Ogni sessione termina con un elenco di correzioni, ogni missione ha un punto finale chiaro e lo stesso compito può essere ripetuto esattamente un mese dopo. Questa ripetibilità è qualcosa che nessuna conversazione umana offre ed è la base di ogni parametro riportato di seguito.

UnihongoApprendimento del giapponese tramite intelligenza artificiale

先月せんげつより間違いまちがいが減りへりました。I miei errori sono diminuiti rispetto al mese scorso.

Correzioni al minuto su un'attività ripetuta

Il numero più utile è quante correzioni ricevi ogni minuto in cui parli, su un compito che hai svolto in precedenza. La ripetizione conta. Un nuovo compito produce sempre più correzioni perché incontri nuovo vocabolario e nuove situazioni, quindi confrontare una nuova missione con una vecchia ti dice delle missioni, non di te. Scegli tre attività di ancoraggio nella prima settimana, annota le correzioni e approssimativamente per quanto tempo hai parlato ed eseguile nuovamente una volta al mese.

Ordina le correzioni in tipi approssimativi quando le registri: particelle, forme verbali, cortesia, scelta delle parole, pronuncia. La caduta totale è buona; il cambio del mix è più interessante. Gli errori di particella di solito svaniscono per primi, gli errori di cortesia poi e gli errori di scelta delle parole per ultimi, perché necessitano della più ampia visibilità. Se un tipo non cade dopo due mesi, è lì che dovrebbero puntare le sessioni del mese successivo.

Non inseguire lo zero. Un'ancora senza correzioni ha smesso di insegnarti; sostituirlo con uno più duro.

Argomenti e situazioni completate

La seconda misura è la copertura: quante situazioni riesci ora a gestire dal primo saluto alla fine senza chiedere aiuto o cambiare lingua. Questo è più vicino a ciò che realmente desideri dal giapponese di qualsiasi altro punteggio. Tieni un elenco di situazioni, seleziona ciascuna la prima volta che la finisci senza aiuto e aggiungi un secondo segno di spunta quando puoi finirla in condizioni più difficili, come un partner più veloce o meno cooperativo.

Le situazioni arrivano nelle famiglie. Una volta effettuato il check-in in un hotel, sei quasi sulla strada per effettuare il check-in in una clinica o in una palestra, perché la forma dello scambio è la stessa. Registra le situazioni per famiglia in modo da poter vedere quali sono coperte e quali no, e lascia che le lacune scelgano le missioni del mese successivo. Uno studente che ha esaminato ogni situazione di negozio e nessun posto di lavoro sa esattamente cosa fare dopo.

Frasi conservate dopo un mese

La terza misura coglie ciò che le sessioni nascondono: l’oblio. Una frase che hai usato correttamente in un gioco di ruolo sembra appresa, ma la vera prova è se riesci ancora a produrla un mese dopo senza il contesto che l'ha suggerita. Dopo ogni sessione, aggiungi due o tre frasi che vuoi conservare nel diario, con la situazione in inglese. Un mese dopo, date al Sensei le situazioni inglesi e provate a produrre quelle giapponesi.

Punteggio semplicemente: prodotto correttamente, prodotto con una correzione o non prodotto. Dieci frasi testate mensilmente forniscono una cifra di fidelizzazione facile da confrontare. Una bassa ritenzione non è un fallimento; ti dice che le frasi non vengono riutilizzate e la soluzione è inserirle nelle chat telefoniche e nelle missioni ripetute anziché aggiungerne altre.

L'autotest mensile

Metti insieme le tre misure in un'unica sessione in una data fissa ogni mese. Ci vuole circa mezz'ora e produce una riga nel registro. Mantieni il formato identico ogni volta, perché il valore è nel confronto, non in ogni singolo risultato.

• Esegui nuovamente le tre attività di ancoraggio e registra le correzioni al minuto per ciascuna
• Chiedi al Sensei di ordinare le correzioni per tipo e di annotare il mix
• Seleziona qualsiasi situazione completata senza aiuto per la prima volta questo mese
• Ritesta dieci frasi dal registro del mese scorso e assegna loro un punteggio
• Tieni una chat gratuita di cinque minuti su un nuovo argomento e conta le richieste di aiuto
• Scrivi una riga: data, tre punteggi di ancoraggio, situazioni contrassegnate, ritenzione su dieci
• Scegli le ancore e le missioni del mese prossimo dalla colonna più debole

La chat gratuita su un nuovo argomento è la cosa più vicina a una conversazione reale nel test. Il suo numero, la frequenza con cui hai bisogno di una parola, è quello da tenere d'occhio per sei mesi.

Mantenere un registro che sopravvive

I tronchi muoiono per ambizione. Una pagina per sessione con riflessioni, nuove parole e obiettivi viene abbandonata entro due settimane. Il log che dura è una riga per sessione, scritta nel minuto successivo alla comparsa delle correzioni, più una riga più lunga al mese. Conservalo in qualunque cosa tu già apra quotidianamente, un'app per le note o un foglio di calcolo, e non riprogettarlo mai.

Una riga della sessione contiene la data, l'attività, il numero di correzioni, i minuti in cui hai parlato e la correzione che desideri maggiormente conservare. Quest'ultimo elemento svolge un doppio compito: è il seme per la ripetizione del telefono di domani e il pool da cui verrà estratto il test di ritenzione del mese prossimo. La riga mensile contiene i numeri dell'autotest. Questo è l'intero sistema, ed è sufficiente vedere a colpo d'occhio tre mesi di cambiamenti.

Cosa non misurare

Alcuni numeri sono facili da raccogliere e non dicono quasi nulla sul parlare. Le serie misurano la presenza e una serie di chat facili vale meno di tre sessioni impegnative a settimana con giorni di riposo. I minuti totali misurano il tempo, non ciò che è accaduto in esso. Il conteggio delle parole da un'app di vocabolario misura il riconoscimento, che è l'abilità che la conversazione AI dovrebbe andare oltre. Il numero di sessioni premia la pratica breve e superficiale.

I sentimenti sono i più complicati. Una sessione che sembrava terribile, piena di correzioni, è spesso la più produttiva, e una sessione che sembrava fluida potrebbe essere stata semplicemente troppo facile. Registra i numeri prima di registrare i sentimenti e, se i due non sono d'accordo per diverse settimane, credi ai numeri. L'eccezione è la motivazione: se il registro mostra progressi e hai ancora paura delle sessioni, cambia il formato, perché un metodo che non continuerai a eseguire non ha una metrica che valga la pena monitorare.

Quando i numeri smettono di muoversi

Ogni studente attraversa un mese in cui le ancore non migliorano. Prima di cambiare qualcosa, controlla le condizioni: le sessioni erano più brevi, più rumorose o con un'impostazione più dura rispetto all'ultima volta? Se le condizioni corrispondono e i numeri sono stabili, la causa più comune è che la pratica è diventata confortevole. Aumenta la difficoltà delle ancore, aggiungi una famiglia di situazioni che hai evitato o chiedi al Sensei di essere un partner meno collaborativo.

Se la conservazione è il numero fisso, le frasi non vengono riutilizzate; spostali in brevi chat quotidiane. Se il numero di conversazioni libere è piatto mentre gli ancoraggi migliorano, hai fatto pratica con gli script anziché con la conversazione e la correzione riguarda argomenti più non scritti. Un plateau nel registro non è un verdetto; è il registro che fa il suo lavoro e ti dice cosa cambiare dopo.