兵馬俑はいつ習うかを生成AIに聞いて「中学の範囲で」と頼むと範囲は守られるのか｜指示の守られ方の研究

食卓に広げた歴史の教科書と端末を見た保護者は、画面の説明の長さに目を留めます。「兵馬俑 いつ習う」と調べるときに知りたいのは、言葉の意味に加えて、今の学習でどこまで覚えるかという境目です。兵馬俑は、秦の始皇帝の陵墓の近くで見つかった兵士や馬の像です。習う時期を探すことと、その像について詳しく知ることは、目的の異なる調べ物です。求めたいのは、長い解説よりも、今取り組む課題に合った説明です。

兵馬俑はいつ習うかを生成AIに聞いて「中学の範囲で」と頼むと範囲は守られるのか｜指示の守られ方の研究

食卓に広げた歴史の教科書と端末を見た保護者は、画面の説明の長さに目を留めます。「兵馬俑 いつ習う」と調べるときに知りたいのは、言葉の意味に加えて、今の学習でどこまで覚えるかという境目です。兵馬俑は、秦の始皇帝の陵墓の近くで見つかった兵士や馬の像です。習う時期を探すことと、その像について詳しく知ることは、目的の異なる調べ物です。求めたいのは、長い解説よりも、今取り組む課題に合った説明です。

生成AIに学年を伝えれば、その学年で扱う内容だけを選んで説明してくれるかどうかが気になるところです。短い文や親しみやすい表現は目に入りやすい一方、学ぶ範囲が合っているかは、文章の見た目だけでは判断しにくいものです。「中学の範囲で」と頼むだけで範囲が守られると考えず、答えに含まれた内容を条件ごとに点検する必要があります。指示の守られ方を調べた研究を読むときも、何を条件にして、何をもって合格としたかを分けると、宿題に使う際の判断につながります。

要点

• 内容の範囲と、文章の長さ・形式の条件の区別
• 複雑な指示を条件ごとに分けて見る評価方法
• 読みやすさが上がっても残る、元の課題とのずれ
• 学ぶ時期は教科書の目次、扱う予定は学校の年間の予定で確認

「兵馬俑 いつ習う」の答えと「中学向け」の説明を分けます

「兵馬俑 いつ習う」という検索語には、学習の時期を知りたいという意図が含まれます。ところが、生成AIに意味の説明までまとめて求めると、時期の答えと用語の解説が同じ文章に並びます。そこで、説明が読みやすいことを、学年の答えまで確かである証拠として受け取らないようにします。何年生かという表示と、説明の中身は、別々に点検する対象です。

範囲という言葉にも、学年で区切る範囲、今扱っている単元、今回の宿題で求められた内容など、異なる意味があります。たとえば、学年に合った内容でも、問われた事項から話が広がりすぎれば、その宿題には余分な説明になりえます。逆に、短く平易に書かれていても、まだ扱っていない考え方を使っている場合は、文の短さでは見抜けません。先にどの意味の範囲を求めているかを決めると、答えのどこを見るべきかが定まります。

形式の条件は、箇条書きになっているか、見出しが付いているかなど、文章の形から判断するものです。内容の条件は、指定した単元の話だけか、説明に使う前提が学習段階に合っているかなど、意味を読んで判断するものです。「中学向け」と書かれた見出し自体は形式の目印であり、中身の範囲を点検した記録ではありません。ここを混ぜると、見出しが整っただけの答えを、範囲にも合った答えと評価してしまいます。

学ぶ内容を選ぶときは、詳しい説明が役立つ場面と、余分な情報が負担になる場面も区別します。関心が広がって背景を読む場合には、先の内容が含まれること自体が問題とは限りません。一方、宿題で答える事項を絞りたい場合は、追加の説明をすべて覚える対象にすると、何が中心だったかが曖昧になります。生成AIに任せたい作業を、知識を広げることか、決めた範囲を説明することかで選びます。

条件を重ねる研究は、文章の良さとは別に採点しています

Jiang（2024）は、指示に含める条件を段階的に増やして、言語モデルの指示への従い方を調べました。言語モデルは、大量の文章から言葉の続き方を学んだ仕組みで、ChatGPTなどの土台です。この研究の対象は、条件を段階的に加えた指示に答える言語モデルです。内容だけでなく文体や形式なども扱い、流暢な答えが出たかではなく、要求を満たしたかを評価しています。

Wen（2024）が扱ったのは、複数の条件を組み合わせた指示に答える言語モデルです。指定した内容を含め、同時に別の条件も満たす場合や、ある条件に当たる場合だけ別の要求を実行する場合など、条件同士の関係に注目しました。研究では4種類の条件、19の観点、4種類の組み合わせ方を整理して問題集を作っています。個別の条件を理解することに加え、組み合わせを崩さず答えることを試す設計です。

Dussolle（2025）の対象は、日本語を含む複数言語の形式的な指示に答える言語モデルです。英語の評価を他の言語へ広げ、言語ごとの特徴を持つ指示も加えて調べました。扱う条件は、文章の長さや出力形式など、機械で確かめられる種類です。以下の表は、それぞれの試験で何を比べ、どのような結果が得られたかを並べたものです。

読みやすくすることと、必要な内容を保つことは別です

Patel（2023）は、米国の公開カリキュラムの3〜5年生の算数の文章題250問を、GPT-3で読みやすく書き直す方法を調べました。元の文章と比べると平均の読みやすさは改善しましたが、出力には元の問題と関係のない文も多く含まれました。意味の近さと読みやすさの基準で選ぶと使える書き換えが得られた一方、著者は元の問題の直接の置き換えにはまだ向かないと結論しています。評価対象は、生成された文章の読みやすさと元の問題との関係です。

この比較で注目したいのは、読みやすさの評価と、元の課題への忠実さを別々に見ている点です。難しい言い回しを減らす作業と、問題を解くための情報を保つ作業は、違う要求として点検できます。歴史の説明に使う場合にも、短くなった箇所だけでなく、増えた話題や消えたつながりを見つける読み方が考えられます。編集部からの提案は、こうした観点を、書き換えた文章を採用する前の確認項目にすることです。

Dornburg（2024）は、ChatGPTに外国語の指導案を作らせ、条件を細かくしたときの質とばらつきを調べました。指導案はおおむね質が高かった一方、文脈や細かい条件を足しても質が上がるとは限らず、同じ指示でも出力に大きなばらつきがありました。また、研究で否定された古い教え方が混じる場合もありました。比較の中心は、条件の異なる指示から出た指導案の質と、同じ指示で出力した案のばらつきです。

食卓で説明を作り直す際には、修正後の文章だけを残さず、修正前の文章も並べると変化を追えます。読みやすくなった言葉、追加された話題、省かれた説明を別々に見ると、改善と変更を混同しにくくなります。採用する文に迷うほど書き換えが増えたら、その場で使う説明を決める作業を止め、元の課題の要求を短く書き出す方法があります。修正の回数を増やすことより、どの条件を満たしたいかを保つための作業です。

小さな問いに分けると、守った条件を点検できます

Qin（2024）は、500の指示を2,250の小さな問いに分けて、要求をどれだけ守ったかを採点する問題集を作りました。専門家や作業者、GPT-4による採点を比べ、条件ごとに分解する方法で評価の安定性が高まりました。評価された言語モデルには、特に複雑な指示で改善の余地が示されました。全体を一度に眺めて良し悪しを決める評価と違い、守った条件と落とした条件を個別に扱う方法です。

家庭での点検にも、条件を項目に分ける考え方を取り入れられます。内容の範囲、使う用語、文章の形式を同じ欄で評価せず、それぞれの欄に該当する箇所を記します。判断する根拠が見つからない項目は、合格とせずに保留のまま残します。すべてに印を付けることを目指すより、まだ判定していない箇所が残る形にしたほうが、後で見直す対象を見失いません。

除外したい内容があるときにも、答えの中にそれが入っていないかを別の項目にします。Seo（2025）は、否定を含む文で、言語モデルがもっともらしい誤りを見分けられるかを調べ、論理的に食い違う判断や元の文に忠実でない判断が多いと報告しました。ただし、調べたのは否定の文を判定する課題であり、除外の指示を守るかという課題への直接の結果ではありません。「入れないで」と書いた部分も読み手が確認する、という注意の間接的な根拠です。

点検するときは、条件の文章だけでなく、答えのどの部分を見て判断したかを残します。たとえば範囲を広げる補足が付いていれば、その補足全体に印を付け、冒頭の説明と分けて扱います。逆に、求めた話題が抜けていれば、含まれていないことを記録します。余分な内容の有無と、必要な内容の不足を別々に見ると、削るだけで済むのか、説明を補う必要があるのかが具体的になります。

食卓で範囲を確かめる手順を決めます

学ぶ時期は、生成AIの学年表示を採用する前に、使っている教科書の目次で見ます。学校で扱う予定については年間の予定を開き、単元の位置を確かめます。AIの説明に出た語は教科書の索引で探し、見当たらない語に印を付けて、本文の該当箇所と照らします。索引に無いことだけで範囲外と決めず、図や説明の中で扱われているかまで見てから、今必要な語と追加の語を分けます。

次に、AIへ伝える内容の条件を、単に学年名を書く形から、扱う単元や使いたい語を示す形に変えます。ここでの短い指示文の例は、「兵馬俑について、手元の教科書で選んだ用語を使って説明してください。」です。用語を選ぶ作業を先に行えば、答えに新しい語が加わったときに見つけやすくなります。答えが返ったら、選んだ用語がどの文に使われたかに印を付け、追加の語と区別します。

答えを受け取ったら、含めたい内容と、含めたくない内容の両方を見ます。範囲外と判断した補足は、理解を広げるために読む分と、宿題の答えに使う分を分けて保存します。問題に答えるための説明が足りないときは、長さを増やすことを先に求めず、不足している事項を自分で記します。こうすると、単に詳しい文章を求め続ける流れから、必要な内容を選ぶ作業へ戻せます。

扱う単元も必要な用語も決められない段階では、生成AIに学習範囲の決定まで任せる使い方を避けます。とりわけ、答えの中の語が範囲内かどうかを自分で判断する手掛かりが無いまま、完成した学習メモとして写すのは控えます。追加された語をすべて覚えようとすると、宿題で問われた事項が余分な情報に埋もれる恐れがあります。端末を使う場合の機能や利用条件は、各サービスが現在示している説明で確かめ、過去の操作手順をそのまま使わないようにします。

保護者は、学年表示より単元を示せるかを見ます

保護者が食卓で見るところは、子どもがAIの説明を教科書のどの単元の話として受け取っているかです。AIの文章を保護者がすべて採点するのではなく、子どもが単元の名前や位置を示せるかに話題を絞ります。学年の名称だけを言える状態と、いま学ぶ単元の中に話を置ける状態を区別するためです。用語を詳しく説明できるかまで一度に求めると、範囲の話から知識の量を競う話へ変わってしまいます。

単元を示せたときは、その単元の説明として使いたい部分を子どもに選んでもらいます。全文を採用するつもりなのか、冒頭の部分だけなのかが見えると、子どもが捉えている学習範囲も具体的になります。保護者が先回りして余分な箇所を消すより、まず子どもの選び方を聞く形です。範囲の判断に迷いが残っているなら、選べなかった箇所を残したままにして、説明を丸ごと覚える段階には進まないようにします。

単元を示せないときは、兵馬俑について知らないことを責める話にしないようにします。歴史の知識をどれだけ持っているかと、AIが付けた学年表示を学習範囲の根拠にしているかは、異なる話題です。保護者は、単元の名前が出るまで周辺知識の質問を増やすのではなく、今どの学習の話をしているかに会話を戻します。子どもがまだ位置づけられていないと気づくことも、範囲を選ぶ作業の出発点になります。

食卓に説明文を残すときは、子どもが示した単元名を横に添えます。選んだ部分と、追加の説明として分けた部分の境目にも印を残します。次に文章を読み直す際には、その単元の説明として選んだ部分から読むようにします。AIが付けた「中学向け」の表示を記録するだけで終わらず、自分で決めた学習の範囲が見える形にできます。

よくある質問

条件を減らせば、範囲を守る答えになりますか

条件を減らしたことだけで、内容の範囲に合った答えと判断することはできません。先に見たJiang（2024）の結果を踏まえると、残した条件を自分で判定できるかが点検の出発点になります。減らす場合は、見出しや装飾などの形式の要求から見直し、扱う内容の条件を残します。そのうえで、残した条件のどれを答えが満たしたかを個別に記録します。

範囲外の言葉を消すだけで使えますか

削除後の文のつながりも読む必要があります。ある用語を消すと、それを受ける指示語や、理由を説明する部分だけが残り、意味が通りにくくなることがあります。削る箇所の前後を続けて読み、何を指しているかが曖昧な文や、説明が途中で切れた箇所に印を付けます。残った説明だけで問題に答えているかまでを点検の対象にします。

同じ指示で答えが変わったら、どちらを使えばよいですか

長い方や自然に読める方を先に選ばず、変わった箇所がどの条件に関わるかで分けます。言い回しだけの変更なら形式の欄に、話題の追加や削除なら内容の欄に記します。条件を満たす理由を書ける部分から採用し、判断できない部分は学習メモに混ぜず残します。後で比較できるよう、指示文と各回答を対応させて保存しておきます。

この記事の限界

比較に使った研究は、条件を組み合わせる評価問題、米国の小学生向け算数の文章題、外国語の指導案などを扱い、日本語を含む研究も学習内容の境界ではなく形式的な指示を対象にしています。GPT-3や研究当時のChatGPTで得られた結果について、現在のモデルでも同じ傾向や強さになるかを、この研究群は検証していません。

日本の中高生を対象に、日本の教科書や学習指導要領に沿って学年の範囲を指定し、その答えで学習を続けた成果を追った研究は、今回集めた範囲にはありませんでした。兵馬俑を何年生で扱うかへの回答の正確さや、「中学の範囲で」という内容の条件がどれだけ守られるかは、引いた研究からはわかっていません。

参考文献

1. Jiang Y ほか. FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models. In: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) 2024:4667-4688.
2. Dussolle A ほか. M-IFEval: Multilingual Instruction-Following Evaluation. In: Findings of the Association for Computational Linguistics: NAACL 2025:6176-6191.
3. Qin Y ほか. InFoBench: Evaluating Instruction Following Ability in Large Language Models. In: Findings of the Association for Computational Linguistics: ACL 2024:13025-13048.
4. Patel N ほか. Improving mathematics assessment readability: Do large language models help? J Comput Assist Learn 2023;39(3):804-822.
5. Seo J ほか. The Impact of Negated Text on Hallucination with Large Language Models. In: Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing 2025:13554-13572.
6. Wen B ほか. Benchmarking Complex Instruction-Following with Multiple Constraints Composition. Adv Neural Inf Process Syst 2024;37:137610-137645.
7. Dornburg A ほか. ChatGPT in foreign language lesson plan creation: Trends, variability, and historical biases. ReCALL 2025;37(3):332-347.

よくある質問