Por que as sessões de IA precisam de medidas próprias
Testes e níveis medem o que você sabe. A prática de conversação com IA trata do que você pode fazer no momento, e os dois se distanciam mais do que os alunos esperam. Um aluno que passa num teste escrito ainda pode produzir uma correção a cada dez segundos numa encenação, e um aluno com um vocabulário modesto pode passar por uma loja, uma clínica e um telefonema quase sem tropeçar. Se o objetivo é falar, as medidas devem vir do falar.
A boa notícia é que um AI Sensei torna a medição barata. Cada sessão termina com uma lista de correções, cada missão tem um ponto final claro e a mesma tarefa pode ser repetida exatamente um mês depois. Essa repetibilidade é algo que nenhuma conversa humana oferece e é a base de todas as métricas abaixo.
| japonês | Romaji | Significado |
|---|---|---|
| 先月より間違いが減りました。 | Sengetsu yori machigai ga herimashita. | Meus erros diminuíram em comparação com o mês passado. |
| この場面は最後まで一人でできました。 | Kono bamen wa saigo made hitori de dekimashita. | Eu consegui essa cena até o fim sozinho. |
| 進歩しているかどうか分かりません。 | Shinpo shite iru ka dō ka wakarimasen. | Não sei dizer se estou progredindo. |
| 同じ課題をもう一度やってみます。 | Onaji kadai o mō ichido yatte mimasu. | Vou tentar a mesma tarefa mais uma vez. |
Correções por minuto em uma tarefa repetida
O número mais útil é quantas correções você recebe por minuto ao falar, em uma tarefa que já realizou antes. A repetição é importante. Uma nova tarefa sempre produz mais correções porque você encontra novo vocabulário e novas situações, portanto, comparar uma missão nova com uma antiga fala sobre as missões, não sobre você. Escolha três tarefas âncora em sua primeira semana, anote as correções e aproximadamente quanto tempo você falou e execute-as novamente uma vez por mês.
Classifique as correções em tipos aproximados ao registrá-las: partículas, formas verbais, educação, escolha de palavras, pronúncia. A queda total é boa; a mudança de mix é mais interessante. Os erros de partículas geralmente desaparecem primeiro, os erros de educação depois e os erros de escolha de palavras por último, porque precisam de exposição mais ampla. Se um tipo não cair após dois meses, é para onde as sessões do mês seguinte devem apontar.
Não persiga o zero. Uma âncora sem correções deixou de te ensinar; substitua-o por um mais difícil.
| japonês | Romaji | Significado |
|---|---|---|
| 十分話して、直しは四つでした。 | Juppun hanashite, naoshi wa yottsu deshita. | Falei durante dez minutos e tive quatro correções. |
| 助詞の間違いはほとんどなくなりました。 | Joshi no machigai wa hotondo naku narimashita. | Os erros de partículas quase desapareceram. |
| 敬語の間違いがまだ多いです。 | Keigo no machigai ga mada ōi desu. | Eu ainda cometo muitos erros de keigo. |
| この課題はもう簡単すぎます。 | Kono kadai wa mō kantansugimasu. | Esta tarefa é muito fácil agora. |
| もっと難しい場面に変えてください。 | Motto muzukashii bamen ni kaete kudasai. | Por favor, mude para uma cena mais difícil. |
Tópicos e situações concluídas
A segunda medida é a cobertura: quantas situações você consegue lidar agora, desde a primeira saudação até o final, sem pedir ajuda ou mudar de idioma. Isso está mais próximo do que você realmente deseja do japonês do que qualquer pontuação. Mantenha uma lista de situações, marque cada uma na primeira vez que terminar sem ajuda e adicione uma segunda marca quando puder terminá-la em condições mais difíceis, como um parceiro mais rápido ou menos cooperativo.
As situações surgem nas famílias. Depois de fazer o check-in em um hotel, você estará quase no caminho certo para fazer o check-in em uma clínica ou academia, porque o formato da troca é o mesmo. Registre as situações por família para ver quais estão cobertas e quais não estão, e deixe as lacunas escolherem as missões do próximo mês. Um aluno que já marcou todas as situações da loja e nenhuma do local de trabalho sabe exatamente o que fazer a seguir.
| Família | Situações de exemplo | O que completá-lo mostra |
|---|---|---|
| Comprando | Loja de conveniência, cafeteria, bilheteria | Números, contadores, respostas rápidas |
| Locomovendo-se | Perguntando o caminho, trens, atrasos | Direções, horário, nomes de lugares |
| Saúde | Descrevendo sintomas, farmácia | Palavras corporais, duração, grau |
| Habitação | Vendo um apartamento, pedido de desculpas do vizinho | Condições, pedidos, recusa educada |
| Problemas | Carteira perdida, produtos com defeito, entrega perdida | Explicando, negociando, keigo |
| Social | Izakaya, festival, discurso de despedida | Formulários casuais, convites, sentimentos |
| Telefone | Reserva de restaurante, ligando para o trabalho | Ouvindo sem rostos, confirmando |
| Trabalhar | Entrevista, reunião, tratamento de reclamações | Registro formal, estrutura, desacordo |
| Emergências | Terremoto em um hotel | Instruções, frases curtas e calmas |
| Conversa grátis | Opiniões, histórias, planos | Fluência sem roteiro |
Frases retidas após um mês
A terceira medida capta o que as sessões escondem: o esquecimento. Uma frase que você usou corretamente em uma encenação parece aprendida, mas o verdadeiro teste é se você ainda consegue produzi-la um mês depois, sem o contexto que a motivou. Após cada sessão, adicione duas ou três frases que deseja manter no registro, com a situação em inglês. Um mês depois, dê ao Sensei as situações inglesas e tente produzir as japonesas.
Pontue de forma simples: produzido corretamente, produzido com correção ou não produzido. Dez frases testadas mensalmente fornecem um valor de retenção fácil de comparar. A baixa retenção não é um fracasso; ele informa que as frases não estão sendo reutilizadas e que a solução é trazê-las para bate-papos telefônicos e missões repetidas, em vez de adicionar mais.
| japonês | Romaji | Significado |
|---|---|---|
| 先月覚えた表現を十個テストしてください。 | Sengetsu oboeta hyōgen o jukko tesuto shite kudasai. | Por favor, teste-me em dez expressões que aprendi no mês passado. |
| 状況を英語で言ってください。日本語で答えます。 | Jōkyō o Eigo de itte kudasai. Nihongo de kotaemasu. | Por favor, forneça a situação em inglês. Vou responder em japonês. |
| 十個のうち七個言えました。 | Jukko no uchi nanako iemashita. | Eu poderia dizer sete em cada dez. |
| この表現は完全に忘れていました。 | Kono hyōgen wa kanzen ni wasurete imashita. | Eu tinha esquecido completamente essa expressão. |
| 来月もう一度確認します。 | Raigetsu mō ichido kakunin shimasu. | Vou verificar novamente no próximo mês. |
O autoteste mensal
Reúna as três medidas em uma sessão em uma data fixa a cada mês. Demora cerca de meia hora e produz uma linha no log. Mantenha o formato sempre idêntico, pois o valor está na comparação, e não em um único resultado.
- Execute novamente as três tarefas âncora e registre as correções por minuto para cada
- Peça ao Sensei para classificar as correções por tipo e anotar a mistura
- Assinale qualquer situação concluída sem ajuda pela primeira vez este mês
- Teste novamente dez frases do registro do mês passado e avalie-as
- Faça um bate-papo gratuito de cinco minutos sobre um novo tópico e conte os pedidos de ajuda
- Escreva uma linha: data, três pontuações âncora, situações marcadas, retenção em dez
- Escolha as âncoras e missões do próximo mês na coluna mais fraca
O bate-papo gratuito sobre um novo tópico é o que mais se aproxima de uma conversa real no teste. Seu número, quantas vezes você precisou de uma palavra, é aquele a ser observado durante seis meses.
Mantendo um registro que sobrevive
As toras morrem por ambição. Uma página por sessão com reflexões, novas palavras e objetivos é abandonada em quinze dias. O log que dura é uma linha por sessão, escrita no minuto seguinte ao aparecimento das correções, mais uma linha maior por mês. Mantenha-o em tudo o que você já abre diariamente, em um aplicativo de notas ou planilha, e nunca o redesenhe.
Uma linha de sessão contém a data, a tarefa, o número de correções, os minutos que você falou e a correção que você mais deseja manter. Esse último item tem dupla função: é a semente para a repetição do telefone amanhã e o pool do qual será extraído o teste de retenção do próximo mês. A linha mensal contém os números do autoteste. Esse é todo o sistema, e é suficiente ver de relance três meses de mudanças.
| japonês | Romaji | Significado |
|---|---|---|
| 今日の記録を一行だけ書きます。 | Kyō no kiroku o ichigyō dake kakimasu. | Escreverei apenas uma linha para o registro de hoje. |
| いちばん覚えたい直しはこれです。 | Ichiban oboetai naoshi wa kore desu. | Esta é a correção que mais quero lembrar. |
| 三か月分の記録を見比べました。 | San-kagetsu-bun no kiroku o mikurabemashita. | Comparei três meses de registros. |
| 記録をつけると進歩が見えます。 | Kiroku o tsukeru to shinpo ga miemasu. | Quando mantenho um registro, posso ver meu progresso. |
| 先生、今日の一番大事な直しはどれですか。 | Sensei, kyō no ichiban daiji na naoshi wa dore desu ka. | Sensei, qual é a correção mais importante de hoje? |
O que não medir
Alguns números são fáceis de coletar e não dizem quase nada sobre como falar. As sequências medem a frequência, e uma sequência de bate-papos fáceis vale menos do que três sessões difíceis por semana com dias de descanso. O total de minutos mede o tempo, não o que aconteceu nele. A contagem de palavras de um aplicativo de vocabulário mede o reconhecimento, que é a habilidade que a conversa com IA deve ir além. O número de sessões recompensa a prática curta e superficial.
Os sentimentos são os mais complicados. Uma sessão que pareceu péssima, cheia de correções, costuma ser a mais produtiva, e uma sessão que pareceu tranquila pode simplesmente ter sido fácil demais. Registre os números antes de registrar o sentimento e, se os dois discordarem durante várias semanas, acredite nos números. A exceção é a motivação: se o log mostra progresso e você ainda teme as sessões, mude o formato, porque um método que você não vai continuar fazendo não tem métrica que valha a pena acompanhar.
| japonês | Romaji | Significado |
|---|---|---|
| 連続記録は気にしないことにしました。 | Renzoku kiroku wa ki ni shinai koto ni shimashita. | Decidi não me preocupar com minha sequência. |
| 今日は大変だったけど、たくさん直してもらえた。 | Kyō wa taihen datta kedo, takusan naoshite moraeta. | Hoje foi difícil, mas recebi muitas correções. |
| 楽だった練習はたぶん簡単すぎたんだと思う。 | Raku datta renshū wa tabun kantansugita n da to omou. | A prática que parecia fácil provavelmente era fácil demais. |
| 数字を見ると、ちゃんと進んでいます。 | Sūji o miru to, chanto susunde imasu. | Olhando para os números, estou avançando corretamente. |
Quando os números param de se mover
Cada aluno chega a um mês em que as âncoras não melhoram. Antes de mudar qualquer coisa, verifique as condições: as sessões foram mais curtas, mais barulhentas ou em um ambiente mais difícil do que da última vez? Se as condições corresponderem e os números forem estáveis, a causa comum é que a prática se tornou confortável. Aumente a dificuldade das âncoras, acrescente uma família de situações que você evitou ou peça ao Sensei para ser um parceiro menos cooperativo.
Se a retenção for o número fixo, as frases não estão sendo reutilizadas; mova-os para pequenos bate-papos diários. Se o número de conversa livre estiver estável enquanto as âncoras melhoram, você tem praticado scripts em vez de conversação, e a solução são tópicos mais improvisados. Um patamar no registo não é um veredicto; é o log fazendo seu trabalho e informando o que mudar em seguida.
| japonês | Romaji | Significado |
|---|---|---|
| 今月は数字が変わりませんでした。 | Kongetsu wa sūji ga kawarimasen deshita. | Os números não mudaram este mês. |
| 練習が楽になりすぎたかもしれません。 | Renshū ga raku ni narisugita kamo shiremasen. | Talvez a prática tenha se tornado muito confortável. |
| 避けていた場面に挑戦します。 | Sakete ita bamen ni chōsen shimasu. | Vou assumir as cenas que venho evitando. |
| 台本なしで話す練習を増やします。 | Daihon nashi de hanasu renshū o fuyashimasu. | Praticarei mais falando sem um roteiro. |