似た王朝名をChatGPTに比べさせるとき誤りが出にくい頼み方はあるのか｜指示文の書き方の研究

休み時間の教室で、世界史のプリントを机に広げたままスマートフォンを手に取ります。次の授業で扱う王朝の名前を ChatGPT に並べて説明してもらおう、という使い方はもう珍しくありません。マウリヤ朝とクシャーナ朝のように区別して覚えたい王朝を並べるときは、地域や年代の欄を取り違えていないかが気になります。聞き方の工夫で取り違えを避けられるのかが、ここでの疑問です。

似た王朝名をChatGPTに比べさせるとき誤りが出にくい頼み方はあるのか｜指示文の書き方の研究

休み時間の教室で、世界史のプリントを机に広げたままスマートフォンを手に取ります。次の授業で扱う王朝の名前を ChatGPT に並べて説明してもらおう、という使い方はもう珍しくありません。マウリヤ朝とクシャーナ朝のように区別して覚えたい王朝を並べるときは、地域や年代の欄を取り違えていないかが気になります。聞き方の工夫で取り違えを避けられるのかが、ここでの疑問です。

指示文の書き方で誤りの出方は変わるが、正しさを保証する頼み方は見つかっていません。 研究で確かめられているのは、指示文の質と出力の質の間に関係があること、そして例の順番や言い換えだけで成績が大きく動くことです。似た王朝名を比べるときに何を先に決め、どこで確かめるかが、答えを使えるかどうかを分けます。

要点

• 途中の考えの筋道を書かせる頼み方で、推論の課題の成績は上がった（Wei 2022）。ただし対象は算数・常識・記号操作の課題で、歴史の知識を思い出す問題ではない。
• 例を並べる順番や指示文の言い換えだけで、成績は最高水準から当てずっぽう並みまで動く（Lu 2022、Mizrahi 2024）。
• 質の高い指示文を書ける学生ほど出力の質も高いが、これは関係を見た研究であり、教えれば誤りが減ることを示したものではない（Knoth 2024）。
• 筋道を書かせても、もっともらしい誤った説明が出て正答率が下がることがある（Turpin 2023）。
• 専門家でない人は、指示文を筋道立てて試すのが難しい（Zamfirescu-Pereira 2023）。
• 似た王朝名の比較で頼み方の効果を測った研究は見つかっていない。観点を先に決めて一つずつ聞き、教科書の地図と年表で照らす。

頼み方を変えると、本当に答えは変わるのか

「答えが怪しいときは、役割を与え、条件を箇条書きにし、考えの途中も書かせるとよい」という助言を目にすることがあります。こうした助言は、指示文の書き方を変えれば出力が良くなる、という前提に立っています。まず、その前提のどこまでが研究で支えられているのかを見ておきたいところです。ここで大事なのは、頼み方が変われば結果が変わるという話と、頼み方を変えれば正しくなるという話を、分けて考えることです。

Wei 2022 は、答えだけを示す例と、途中の考えの筋道まで示す例を比べた研究です。算数の文章題のベンチマークである GSM8K で、大規模なモデルに8つの筋道つきの例を示すと、微調整した GPT-3 に検証の仕組みを付けたものさえ上回りました。算数だけでなく、常識の推論や記号の操作でも成績が上がったと報告されています。効果が確かめられたのは、途中に手順がある課題でした。

Knoth 2024 は、高等教育の学生を対象に、指示文を書く力と出力の質、AIを理解して使う力の関係を調べました。質の高い指示文を書ける学生ほど、大規模言語モデル（大量の文章から次の語を予測するよう学習した仕組み）の出力の質も高い結果でした。ChatGPT は例として挙がっているが、使われたモデル名や対象者の人数・国は報告に書かれていません。関係を示した研究であって、指示文の書き方を教えれば誤りが減るかどうかを試したものではありません。

ここで押さえたいのは、課題の種類です。筋道を書かせる頼み方が効いたのは、計算や記号の操作のように、答えるまでの道筋を言葉にできる課題でした。王朝が栄えた地域のように、知っているかどうかが問われる課題では、手順を書いても新しい事実は生まれません。推論の課題での成功は、歴史の用語の問題での成功を意味しません。

頼み方を変えれば出力が変わる、という部分は研究で支えられています。ただし、変わった結果が正しいとは別の話であり、返ってきた内容は自分で確かめる必要があります。その確かめ方の前に、揺れの大きさを知っておくほうがよいです。

例の順番と言い換えだけで成績は大きく動く

同じ内容を聞いているのに、例の順番を入れ替えただけで答えが変わると聞くと、直感に反するかもしれません。しかし、言語モデルに少数の例を見せて答えさせる場面では、その揺れが繰り返し報告されています。頼み方を工夫するときには、この揺れの大きさを先に知っておくほうがよいです。

Lu 2022 は、例を並べる順番だけで成績がどこまで変わるかを調べました。GPT-3 などのモデルに少数の例を見せるとき、順番によって、最高水準に近い成績と当てずっぽうと同じ成績の間で結果が動きました。著者らは、良い順番を探す方法で GPT 系のモデルの成績を相対的に13%改善したと報告しています。11 種類の分類課題が対象で、あるモデルで良い順番は、別のモデルには移せませんでした。

Mizrahi 2024 は、同じ意味の指示文を言い換えるだけで、成績がどれだけ変わるかを大規模に調べました。20 種の大規模言語モデル、39 の課題、3 つのベンチマークにまたがる 多数の出力例を分析し、言い回しの違いで成績の水準も、モデルどうしの順位も大きく変わると報告しました。一つの指示文での正答率を、そのモデルの実力とみなすことはできません。

この二つの研究から言えるのは、頼み方の違いは誤差ではなく、結果の読み方を変えるほどの差になるということです。だからこそ、一度返ってきた答えをそのまま覚えるのではなく、言い方を変えても同じ答えが返るかを確かめる意味があります。同じ質問を二通りの表現で聞き、一致しない項目には印を付けておくとよいです。

表をたどると、頼み方の工夫が効く場面と効かない場面の違いが、課題の種類と結びついていることがわかります。指示文の質は出力の質と関係するが、その関係の現れ方は課題によって変わります。表の一行ずつを、自分の試験範囲に当てはまるかどうかで読むとよいです。

筋道を書かせると、誤りは減るのか増えるのか

途中の考えの筋道を書かせる頼み方では、答えに至る説明も出力させます。答えだけを出させるより、途中の計算や判断を言葉にさせることで、モデルが手順をたどりやすくなる、という考え方です。Wei 2022 の結果はこの考えを支えています。

Turpin 2023 は、その説明が本当に答えの決め方を映しているのかを調べました。GPT-3.5 と Claude 1.0 に 13 の課題を解かせ、入力に「いつも (A) が正解」といった偏りを混ぜました。モデルはその影響に触れないまま誤った答えを選び、もっともらしい説明を付け、正答率は最大 36% 下がりました。

説明が長く整っているほど、読む人は正しさを疑いにくくなります。筋道を書かせることは、誤りを見つけやすくする工夫にはなるが、誤りそのものを消す工夫ではありません。説明の巧みさと答えの正しさを分けて見る必要があります。

ここで挙げた効果も、課題の種類に限られます。筋道を書かせる頼み方が試されたのは、途中に計算や手順がある推論の課題であり、王朝名から地域を思い出すような知識の課題で同じ効果があるかは、この研究からは言えません。知識の課題でどう働くかは、課題を変えて測り直す必要があります。

また、紹介した研究には、GPT-3、GPT-3.5、Claude 1.0 を使った評価が含まれます。現在のモデルで同じ数字が出るかは、改めて測る必要があります。モデルの版が変われば、指示文への反応の仕方も変わる可能性があります。版が変わったときは、同じ指示文で答えを見比べるのが確かめ方になります。

マウリヤ朝やクシャーナ朝が栄えた国は、どこで確かめるのか

似た王朝を比べるときに先に決めるべきは、質問の文面より観点です。地域、年代、都、宗教のように、比べる項目を三つか四つに絞って紙に書きます。そのうえで、一つの王朝について一つずつ聞きます。二つを一度に並べさせると、片方の説明がもう片方に引きずられる余地が残ります。

指示文の例を一つ挙げます。「マウリヤ朝について、栄えた地域、年代、都、宗教を1行ずつ書いてください。わからない項目は空欄にしてください。」という短い頼み方です。空欄を認める指示は、不明な項目を残すための提案です。それでも誤った内容で欄が埋まる可能性があり、正しさは別に確かめます。

二つ目は、比べる前の下ごしらえに使います。「クシャーナ朝について、栄えた地域と年代を、それぞれ1行で書いてください。その後で、この二つの王朝の違いを表にしてください。」という形です。先に一つずつ書かせておけば、表のどの欄がどの説明に対応するかを後から追いやすいです。

返ってきた二つの説明は、答えではなく下書きとして扱います。教科書の地図で地域を、年表で年代を、用語集で王朝名の表記を照らします。資料と食い違う項目や確認できない項目は、覚える対象から外します。

観点は増やしすぎないほうがよいです。地域、年代、都、宗教に加えて建国の経緯まで広げると、聞くことも確かめることも増えます。まずは教科書の本文と地図に載っている項目に限ります。載っていない細部は、覚える対象ではなく読み物として扱います。

確かめる時間がない場面では、この手順は使わないほうがよいです。試験の直前に、AI の答えをそのまま暗記して臨むと、誤りを覚える危険のほうが大きくなります。調べた内容をノートに写すときも、出どころの欄を空けたままにしません。

専門家でない人が頼み方を工夫するときのつまずき

Zamfirescu-Pereira 2023 は、AI の専門家でない人が GPT-3 を使った会話ボットの指示文を作る様子を観察しました。参加者は思いつきで指示文を試し、筋道立てて比べませんでした。人に頼むときの感覚を持ち込んだり、一度うまくいった言い方を広げすぎたりしてつまずきました。

この観察は、頼み方の工夫が特別な才能の話ではなく、試し方の作法の話であることを示しています。良い指示文を書くには、条件を一つずつ変えて結果を比べる手間が要ります。一度の結果で良し悪しを決めてしまうと、その違いが指示文のせいなのか、たまたまなのかを見分けられません。

頼み方を変えたときは、変えた点を一行だけメモに残します。同じ質問を二つの言い方で聞き、答えのどこが一致してどこが違ったかを書きます。この記録があると、次に似た王朝を調べるときに、同じ試行を繰り返さずに済みます。

試すときは、変える条件を一度に一つにします。観点の書き方と、聞く順番と、空欄を許す一文を同時に変えると、どれが効いたのかわからなくなります。三つの言い方を試すだけでも、比べる手間は小さくありません。

Lu 2022 が示したように、あるモデルで良い順番を、別のモデルにそのまま移すことはできません。友達が使っているサービスと自分が使っているサービスで、同じ頼み方が同じように働くとは考えないほうがよいです。頼み方の型を覚えるより、確かめ方を覚えるほうが長く使えます。サービスが変わっても、確かめ方の手順はそのまま使えます。

試験で使う前に自分で確かめる手順と、保護者が見るところ

試験範囲の王朝を調べるときは、次の順で進めます。どれも特別な道具を要さない手順です。紙と教科書、それにノートがあれば足ります。手順を紙に書き出しておくと、次回も同じ順で迷わずに進められます。

• 比べる観点を三つか四つ、紙に先に書く。
• 王朝を一つずつ聞き、わからない項目は空欄のまま返させる。
• 同じ質問を別の言い方でもう一度聞き、一致しない項目に印を付ける。
• 教科書の地図・年表・用語集で、印の付いた項目から照らす。
• 照らせなかった項目は、答案やノートに書かない。

答案に書く前に、一致した項目と一致しなかった項目を分けておきます。一致した項目でも、教科書で照らしていないものは下書きのままにしておきます。この二段階を踏むと、AI の答えをそのまま写す量が減ります。時間が足りない日は、観点を二つに絞って同じ手順を回します。

保護者が見るところは、答えの内容そのものより、確かめた形跡です。ノートに観点の列と照合の印が残っているか、一致しなかった項目をどう扱ったかを見ます。指示文を長く書いたかどうかは、正しさの目安になりません。声をかけるときは、答えを覚えたかではなく、どこで照らしたかを聞きます。

手順を踏んでも、似た名前の王朝の区別は一度ではつきません。だからこそ、どの観点を先に確かめるかを決めておくことが、試験前の限られた時間を守ります。次に照合する王朝名と観点をプリントの余白に残せば、地図や年表のどこに戻るかが明確になります。

よくある質問

指示文を長く書けば誤りは減りますか

指示文の長さそのものが正しさを決めるわけではありません。Knoth 2024 では、質の高い指示文を書ける学生ほど出力の質も高いという関係が示されましたが、長さと質は別のものです。条件を増やすと、モデルがどの条件を優先するかも変わります。Mizrahi 2024 が示したように言い回しの違いで成績が動くため、長く書いた分だけ安全になるわけではありません。

同じ質問を2回して答えが違ったとき、どちらを信じればよいですか

どちらも信じず、三つ目の手がかりを探すのが基本です。Lu 2022 と Mizrahi 2024 は、例の順番や言い回しの違いで成績が変わることを示しました。二つの答えが一致しない項目は、モデルが安定して答えられない項目とみなします。教科書の地図や年表で確かめ、そこで裏が取れないものは答案に書きません。

教科書の表をそのまま貼って聞いてもよいですか

貼ること自体は構いませんが、貼った表を整理させる課題と、王朝の知識を問う課題は別物です。Wei 2022 の筋道を書かせる頼み方は、渡された情報から手順をたどる課題で効果が示されました。教科書の表を渡せば、モデルは表に書かれた内容を整理する側に回ります。覚えるべき事実が表の中にあるなら、AI に聞くより自分で表を埋め直すほうが確かです。

この記事の限界

王朝名の比較への応用を考えるうえでは、推論や文章分類の課題を扱った研究が中心である点に留意が要ります。Wei 2022 と Turpin 2023 の課題は算数・常識・記号操作や BIG-Bench Hard の推論で、日本の中高生が日本語の指示文で世界史の王朝を調べる場面を扱った研究は見つかっていません。

測定の面では、示した数字が研究ごとに別のモデルと課題から出たもので、同じ条件で比べ直したものではない点が限界です。研究で使われたモデルは公表から時間がたっており、現在の版で同じ結果になるかは確かめられていません。学校の課題で生成AIの利用をどこまで認めるかは学校ごとの規則で決まるため、似た王朝名の比較にこの手順を使う場合も、まず自分の教科書と資料集で確かめられる範囲から始めるのが安全です。

参考文献

1. Wei J ほか. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. Advances in Neural Information Processing Systems 35 (NeurIPS 2022). 2022:24824-24837.
2. Knoth N. AI literacy and its implications for prompt engineering strategies. Computers and Education: Artificial Intelligence. 2024;6:100225.
3. Lu Y ほか. Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2022:8086-8098.
4. Mizrahi M ほか. State of What Art? A Call for Multi-Prompt LLM Evaluation. Transactions of the Association for Computational Linguistics. 2024;12:933-949.
5. Turpin M ほか. Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting. Advances in Neural Information Processing Systems 36 (NeurIPS 2023). 2023:74952-74965.
6. Zamfirescu-Pereira JD ほか. Why Johnny Can’t Prompt: How Non-AI Experts Try (and Fail) to Design LLM Prompts. Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems. 2023:1-21.

よくある質問