「8字で解答せよ」を生成AIに守らせると字数を数え誤るのか｜字数の指定と文字の数え方の研究

模試後に広げた解答用紙には、短い名前を書き込むためのます目が並んでいます。「10世紀末にビザンツ皇帝の妹と結婚し、ギリシア正教を国教とした人物を8字で解答せよ。」という問いを生成AIに聞くときも、名前と長さの両方が気になります。この問いは、婚姻と宗教に関する手掛かりから人物を特定し、指定された文字数で名前を書く問題です。人物についての知識に加えて、解答欄に収まる表記を選ぶことまで求めています。

「8字で解答せよ」を生成AIに守らせると字数を数え誤るのか｜字数の指定と文字の数え方の研究

模試後に広げた解答用紙には、短い名前を書き込むためのます目が並んでいます。「10世紀末にビザンツ皇帝の妹と結婚し、ギリシア正教を国教とした人物を8字で解答せよ。」という問いを生成AIに聞くときも、名前と長さの両方が気になります。この問いは、婚姻と宗教に関する手掛かりから人物を特定し、指定された文字数で名前を書く問題です。人物についての知識に加えて、解答欄に収まる表記を選ぶことまで求めています。

自然な日本語で説明してくれる生成AIなら、短い答えの文字数も正確に数えそうに見えます。しかし、文章を書く働きと、書かれた文字を順に数える働きは分けて考える必要があります。生成AIには文字を数えたり操作したりする課題での失敗が報告されており、長さを指定した答えも、答案に書く文字を自分で数えて確かめる必要があります。専用の仕組みで長さを合わせた研究もあるので、どの単位を数え、どの条件で成功したのかが判断を左右する点です。模試の復習では、答えの中身を考え直す作業と、完成した解答の長さを点検する作業を切り分けると、直すべき場所が見えやすくなります。

要点

• 文章を区切るトークンと、解答用紙で数える文字の違い
• 綴りの知識を持つことと、文字を操作できることの隔たり
• 専用の長さ制御や追加学習で改善した研究の条件
• 内容を保ったまま、完成した答案をます目で数える手順

「10世紀末にビザンツ皇帝の妹と結婚し、ギリシア正教を国教とした人物を8字で解答せよ。」で確かめたい条件

この問いを生成AIに渡したとき、見るべきなのは人物名だけではありません。返ってきた表記が、問題に書かれた長さの条件を満たしているかも点検の対象です。人物を取り違える誤りと、人物の表記を指定どおりの長さにできない誤りでは、復習の内容が変わります。前者なら歴史の知識のつながりを見直し、後者なら実際に書いた文字列と解答欄の対応を見直すことになります。

生成AIの土台となる大規模言語モデルは、大量の文章から次に続く語などを予測するよう学習した仕組みです。その多くは、文章をトークンという単位に区切って扱います。トークンは文章の断片で、見た目の文字と同じ単位ではありません。語のまとまりが単位になる場合も、文字の途中で区切られる場合もあり、モデルが扱う長さと答案の長さには違いが生まれます。

ここで、文字を直接の単位としていないことを、文字の情報を何も持っていないことと混同しないようにします。Itzhak（2022）は英語を扱うRoBERTaとGPT2の入力の層を調べ、語彙の最大3分の1について、正確に綴れるだけの情報が含まれていると報告しました。綴りは、語がどの文字の並びからできているかという情報です。この結果が示すのは内部に文字の情報がある範囲であり、解答を指定の長さに仕上げる成績とは測っているものが違います。

読者が見る画面には完成した文章が出るため、その背後の区切りは意識しにくいものです。長い説明を読めることから、短い文字列の操作も得意だと期待すると、確認を省いてしまいます。模試後の見直しでは、文章の流暢さを長さの証拠にせず、解答欄に入れる部分を取り出して扱うほうが、点検の対象をはっきりさせられます。

綴りを知っていても、数える課題で使えるとは限りません

Edman（2024）は、トークンの文字の並びを扱う力を調べる課題群CUTEで、大規模言語モデルを評価しました。対象は英語の文字列で、多くのモデルはトークンの綴りを知っているように見えました。それでも、その知識を文字の入れ替えや削除などの操作に十分に使えないという結果でした。語をそれらしく書くことから、文字を正確に扱うことへは、別の難しさが挟まっています。

Zhang（2025）は中国語と英語の文字・語を扱う課題を用い、数える、特定する、挿入する、逆順にするなどの23課題で9つのモデルを評価しました。人が100%の正確さで解ける課題で、モデルには大きな失敗が見つかったと報告しています。この100%は人の成績を述べた数字で、モデルの成功率を示す数字ではありません。文章を読むと単純に見える操作でも、モデルの出力をそのまま数えた結果として受け取るのは危ういという根拠になります。

漢字の扱いについては、Haslett（2025）が中国語の漢字を対象に、GPT-4・GPT-4o・Llama 3を調べました。部首という漢字の構成部分とトークンの区切りがずれると、漢字についての内部の表現が系統的に崩れる結果でした。研究で問うたのは部首や意味の関係であり、解答欄の文字数を直接数えさせる課題とは区別されます。文字の見た目に沿った単位とモデルの処理単位がずれるという、漢字を扱う際の仕組みの問題を示しています。

これらの研究を合わせて読むと、単に難しい言葉を知らないために失敗する、という説明では足りません。語の綴りを知っているように見える場合にも、目的の操作にその知識を使うところでつまずいています。文字数の確認を依頼した答えに説明が添えられていても、説明の自然さと、完成した文字列を数えた結果は別々に見る必要があります。

長さを合わせる研究は、何を変えて成功したのか

Sun（2023）は、語や文の数などの条件を守って文章を作る課題で、大規模言語モデルと課題向けに学習させた小さなモデルを比較しました。課題によって劣る場合、同等の場合、上回る場合があり、細かく厳密な制約を守ることには苦戦すると結論しています。意味が通る文章を作るだけでなく、数えられる条件も満たすよう求めると、評価する力の種類が増えるわけです。

一方、Gu（2025）はLlama3.1を用い、長さを指定した要約や指示への応答で、長さ制御の成功率がほぼ100%になったと報告しました。モデルの内部を変えず、繰り返し生成した出力から長さの合うものを選ぶ、外側の仕組みを加えた研究です。文章を作ることに加え、出力を選び直す仕組みを働かせた点が、この数字を読む鍵になります。これは英語の長さ制御で、抄録には数える単位の詳しい記述がなく、日本語の試験の文字数を合わせた成績ではありません。

Butcher（2025）は、モデルに残りの長さを知らせる情報を加えて追加学習し、平均の誤差を3トークン未満に抑えました。トークンは文章を区切る単位なので、この数字を同じ数の日本語の文字に読み替えることはできません。研究の改善方法はモデルを学習し直すもので、チャットに短い注文を足す方法とは条件が違います。質問への応答や文書の要約で、文章の質を損なわず長さを制御できたという結果でした。

研究を比べるときは、成功率だけを並べるより、どこを変えたかを読むと違いが明確になります。以下の表では、出力を選ぶ方法、学習を変える方法、条件への対応を調べる評価を分けています。対象の異なる結果をまとめて、普段の生成AIの成功率に置き換えないことが読み方の要になります。

長さだけを直すと、答えの中身を壊すことがあります

模試の復習で文字数が合わないと、まず短くするよう頼みたくなります。しかし、人物名のように表記そのものが解答となる問いでは、文字を削ることが答えを変えることにつながります。長い記述でも、短縮の過程で条件を表す語や理由が消えれば、枠に収まっても説明としては弱くなります。文字数の一致は、答案の内容が保たれたことを証明するものではありません。

特に点検が必要なのは、生成AIに短縮を頼んだ後で、元の答えと比較せずに書き写す場面です。自分では表現だけを変えたつもりでも、主語が抜けたり、原因と結果の関係が読み取りにくくなったりする可能性があります。こうした部分は、文字数の表示だけを見ていても見つけられません。短くした案を読むときは、何について述べた文か、どの条件や関係を残すべきかを先に決めておく必要があります。

また、AIが自分の答えに添えた文字数と、実際の解答の長さを同じものとして扱うと、数え間違いを引き継いでしまいます。数えたという説明文を読む作業と、文字に順に指を当てる作業は別です。解答欄に写す部分に説明や注記が混ざっている場合は、どこからどこまでを数えたのかにも注意が向きます。完成した答案ではなく、途中の案だけを数えて済ませることも、長さがずれる原因になります。

短い人物名の解答をます目に書けるなら、文字数の最終判定に生成AIを挟む必要はありません。残すべき内容を自分で説明できない記述も、短縮を重ねる前に立ち止まる場面です。長さが合うまで頼み直すことを復習の中心にすると、なぜその答えになるのかを見直す時間が押し出されます。AIを使わず自分の答案を点検するほうが、今の作業の目的に合う場合があります。

模試後は、内容の確認とます目での計数を分けます

「10世紀末にビザンツ皇帝の妹と結婚し、ギリシア正教を国教とした人物を8字で解答せよ。」を見直すなら、人物名の正しさは教科書や問題集の解答で確かめます。ここでは、AIの表記から文字を削って長さを合わせるより、まず解答に用いる表記を定めることが先です。内容の確認が済んだら、解答欄に書く文字列だけを手元に残します。理由の説明やAIの注記は、答案そのものと分けておきます。

次に、その文字列をます目に書き、先頭から順に対応を見ます。句読点や記号をどう扱うかという指定がある場合は、その条件を欄の近くに書いておくと、途中で数え方を変えずに済みます。小さいかなや記号を含むときも、読みの音の長さで見積もらず、実際に書く文字に目を向けます。文字数を頭の中だけで保持するより、どの文字をどのますに置いたかを残せる形にします。

記述を短くする場合は、先に残すべき内容に印を付けます。理由を問われているなら理由に当たる箇所、比較なら比較の両側を残し、その周りの重複した表現から見直します。AIに別の表現を出してもらったときも、採用する語句を選ぶのは、残す内容との対応を読んでからです。書き換えた後には、古い案の計数結果を引き継がず、新しい全文を対象にします。

最後に、ます目へ書いた答案を普通の文として読み返します。数える作業では個々の文字に注意が向くため、意味のつながりを見る作業を後に置くと、点検の目的を切り替えられます。修正の跡が多くなったら、確定した表記を別の欄に書き直してから数える方法もあります。記録に残すのは、AIが申告した長さではなく、自分が提出する形にした答案と、その上で行った点検です。

保護者は、自分で数えた跡に目を向けます

保護者が見るところは、子どもがAIの答えをそのまま写さず、答案の文字を自分で数えたかという点です。人物名の知識をその場で試したり、AIを使った回数を尋ねたりするより、ます目に書いた答案が点検の手掛かりになります。数えた場所が紙の上に残っていれば、子どもも、何を終えてどこを直しているかを示しやすくなります。完成した答えだけを見て、確認の過程を推測する必要が減ります。

保護者が先に数え終えて答えを告げると、子ども自身の点検が見えにくくなります。見守る対象を、速く数えられたかではなく、書いた文字に沿って数えたかに絞ると、急がせずに待てます。途中で書き直した場合も、修正後の答案を数え直した跡があれば、どの版を確かめたのかが伝わります。丸を付けるだけでなく、最後のますまで指でたどった動きも、自分で点検したことを示す具体になります。

うまく収まらなかった場合は、それをAIの使用を責める材料にしないことが、見直しを続ける助けになります。数え違いを見つけた時点で、機械の出力をそのまま採らずに点検する作業は働いています。保護者が文字を直して完成させる前に、子どもが確定した答案を数えるところまで待つ余地を残します。見る対象を絞れば、復習全体を横から管理する形にもなりにくくなります。

模試後の解答用紙に残るます目は、文章が自然かどうかとは別の条件を目に見える形にしています。生成AIから得た表現の案には使い道があっても、文字数まで引き受けてもらったつもりで紙を閉じると、点検が抜けます。長さに制約のある答案で生成AIの案を採れるのは、内容を保ち、完成した文字列を自分で点検できる場面に限られます。

よくある質問

「順を追って数えて」と頼めば、正確になりますか

その頼み方で数え誤りがどれほど減るかは、今回集めた査読つきの研究では測られていません。Itzhak（2022）やEdman（2024）の研究を読む際にも、綴りの情報を持つことと、それを操作に使えることを分ける必要があります。番号や説明を付けて返された場合は、表示された合計だけを採らず、元の解答の文字に抜けや重複なく対応しているかを見ます。最終的に数える対象は、説明用に分割された一覧ではなく、答案に書く文字列です。

「以内」と「ちょうど」で、点検の仕方は変わりますか

「以内」では上限を超えていないかを、「ちょうど」では指定された長さと一致するかを点検します。どちらも長さの条件ですが、足りない文字を埋める必要があるかという判断が変わります。上限を守っていても問いに必要な内容が抜けていれば、記述を見直す対象になります。復習の際は、問題にある条件の表現をそのまま答案の横に置き、完成した文字列と照合すると、別の条件として読み替えることを避けられます。

文字数を数える道具と、生成AIへの質問は同じですか

文字列を入力して数を返す計数の道具と、会話の中で数を答える生成AIは、同じものとして扱わないほうがよいです。道具を使う場合も、空白や改行、記号を何として数えるのかという定義を見ます。サービスに計数の機能があるか、その機能がどう数えるかは、利用時点の説明を参照します。問題の数え方と道具の定義を照合し、実際に答案へ書く部分だけを計数の対象にします。

この記事の限界

測定の中心は英語のトークンや語を扱う課題で、Zhang（2025）は中国語と英語、Haslett（2025）は中国語の漢字の構造を扱っており、日本語の漢字かな交じりの答案を対象とした結果ではありません。RoBERTa・GPT2からLlama3.1などまで研究時点のモデルは異なり、現在利用できるモデルにも同じ程度のずれが残るかは、これらの評価だけでは定まりません。

日本の中高生が模試の記述を直す場面で、生成AIを使った後に自分で数える方法の学習上の効果も、今回引いた研究の対象外です。かな・漢字・句読点・記号を含めた日本語の解答の文字数の指定を、生成AIがどこまで守るかは、まだ測られていません。

参考文献

1. Gu Y ほか. Length Controlled Generation for Black-box LLMs. Proc ACL 2025 (Vol 1: Long Papers):16878-16895.
2. Butcher B ほか. Precise length control for large language models. Nat Lang Process J 2025;11:100143.
3. Itzhak I ほか. Models In a Spelling Bee: Language Models Implicitly Learn the Character Composition of Tokens. Proc NAACL-HLT 2022:5061-5068.
4. Sun J ほか. Evaluating Large Language Models on Controlled Generation Tasks. Proc EMNLP 2023:3155-3168.
5. Edman L ほか. CUTE: Measuring LLMs’ Understanding of Their Tokens. Proc EMNLP 2024:3017-3026.
6. Zhang Y ほか. Uncovering Large Language Model Weaknesses in Character and Word Understanding and Manipulating. IEEE Trans Neural Netw Learn Syst 2025;36(10):17570-17584.
7. Haslett DA ほか. Tokenization Changes Meaning in Large Language Models: Evidence from Chinese. Comput Linguist 2025;51(3):785-814.

よくある質問