問題文をそのままChatGPTに貼ると正しく答えるのか｜入試型の問題での正答と答えの揺れの研究

試験前の机に過去問を広げ、記号で答える一行の問題を目にしたとき、その文をそのままコピーしてチャット欄に貼れば答えが返るのではないか、と考えたことはないでしょうか。模試や定期テストの直前に、一問だけ確かめたい問題があって、分厚い解答解説を開くより速い方法に見え、時間を節約したい気持ちが先に立ち、つい貼ってしまいたくなる場面でもあります。問題文をそのまま貼れば正しく答える、とは言い切れず、正答は問題の形式・モデルの版・聞き方で動きます。 貼った問題に対して返ってくる答えは、いつも同じで、いつも正しいとは限りません。スマートフォンのチャット欄は、試験前の短い時間ほど速くて魅力的に見えますが、その速さと正しさは別のものなので、入試型の選択式の問題を解かせた研究をたどりながら、どこまで答えを当てにしてよいのかを整理します。

問題文をそのままChatGPTに貼ると正しく答えるのか｜入試型の問題での正答と答えの揺れの研究

試験前の机に過去問を広げ、記号で答える一行の問題を目にしたとき、その文をそのままコピーしてチャット欄に貼れば答えが返るのではないか、と考えたことはないでしょうか。模試や定期テストの直前に、一問だけ確かめたい問題があって、分厚い解答解説を開くより速い方法に見え、時間を節約したい気持ちが先に立ち、つい貼ってしまいたくなる場面でもあります。問題文をそのまま貼れば正しく答える、とは言い切れず、正答は問題の形式・モデルの版・聞き方で動きます。 貼った問題に対して返ってくる答えは、いつも同じで、いつも正しいとは限りません。スマートフォンのチャット欄は、試験前の短い時間ほど速くて魅力的に見えますが、その速さと正しさは別のものなので、入試型の選択式の問題を解かせた研究をたどりながら、どこまで答えを当てにしてよいのかを整理します。

要点

• 日本語の医師国家試験を GPT-4 に解かせた研究では、頼み方を調整した条件で合格ラインをわずかに上回った（Tanaka ほか 2024）。
• 各国の医師国家試験をまとめたメタ分析では、正答率は GPT-4 が 81%、GPT-3.5 が 58% だった（Liu ほか 2024）。
• 選択式の問題は、選択肢の並び順を変えるだけで成績が約 13%〜85% 動いた（Pezeshkpour ほか 2024）。
• 同じ問題を 12 時間以上空けて 3 回聞くと、回によって選ぶ選択肢が変わるモデルがあった（Gürses ほか 2026）。
• 予備知識のない学生が ChatGPT で答えると、普通に答えた学生より全体ではわずかに下回った（Shoufan 2023）。
• 学習では、答えを読むより自分で思い出して答える練習のほうが役立った（Adesope ほか 2017）。

問題文を貼れば正解が返る、という期待はどこから来るのか

生成AI、とくに大規模言語モデル（大量の文章から次に来る語を予測するよう学習した仕組み。ChatGPT などの土台）に問題文を貼る使い方が広がった背景には、試験問題を解かせたという報告の数々があります。その多くは、モデルが人間の受験者に近い点数を取った、という形で伝わります。しかし、報告の条件を開いてみると、問題をそのまま貼っただけの成績ではないことが少なくありません。点数だけを見て期待を膨らませると、自分の使い方との差を見落とします。

日本の医師国家試験を GPT-3.5 と GPT-4 に解かせた Tanaka ほか（2024）の研究では、290 問で頼み方を調整したうえで、GPT-4 の最良の条件が必須問題で 82.7%、基本的な問題と臨床の問題で 77.2% でした。合格の最低ラインはそれぞれ 80.0% と 74.6% で、わずかに上回っています。誤答の原因としては、医学知識の不足、日本独自の制度や指針に関する情報の不足、計算の誤りが挙げられています。この成績は、問題をそのまま貼った場合ではなく、頼み方を最適化した最良のモデルのものです。

各国の医師国家試験を調べた 45 本の研究をまとめたメタ分析（複数の研究の結果をまとめて計算し直す方法）では、GPT-4 の正答率は 81%、GPT-3.5 は 58% でした（Liu ほか 2024）。画像を含む選択式の問題では、正答率が 13.1% から 100% まで幅がありました。著者らは、正確さが足りず成績も安定しないとして、医学教育への利用にはまだ適さないと結論しています。点数が高いという報告と、安心して使えるという結論は、同じではないのです。

ここまでの研究は医学の試験で、対象は医学生や大学生です。日本の大学入試や中高の世界史の問題を、そのまま ChatGPT に貼った正答率を調べた査読論文は見つかりませんでした。調べた時点のモデルでの結果であり、今のモデルでも同じになるかは確かめられていませんが、条件によって正答が動くという方向は、問題の形式を選ばずに現れます。

同じ問題でも答えが揺れる——選択肢の順番と回ごとの違い

一度正解したのだから、同じ問題なら同じ答えが返るはずだ、と考えるのは自然です。ところが研究では、入力の中身が同じでも、選択肢の並びや聞いた回によって答えが変わることが示されています。問題文を貼ったときの正答は、問題の形式とモデルの版、そして同じ問いを何回聞くかで変わります。ここが、答えを一つの正解として写す使い方の弱点になります。

Pezeshkpour ほか（2024）は、選択式で選択肢の並び順を入れ替えるだけで、大規模言語モデルの成績が、性能を測る標準的な問題集（ベンチマーク）によって約 13% から 85% 変わったと報告しました。上位の選択肢で迷っているときに、置かれた位置に引っぱられるためだと推測しています。並べ方を補正すると、最大で 8 ポイント改善しました。

Gürses ほか（2026）は、11 の大規模言語モデルにトルコ語の解剖学の選択式 100 問を、12 時間以上空けて 3 回ずつ解かせました。正確で安定したモデルもあった一方、同じ入力でも回によって選ぶ選択肢が変わるモデルがありました。なかには、毎回同じ誤った選択肢を選び続ける問題もあったといいます。1 回だけ試して正解だったことは、その答えが安定して出る証拠にはなりません。

ここまでの研究を並べると、よく言われることと、研究で確かめられたことの間にずれが見えてきます。次の表は、代表的な期待と、それを確かめた研究の条件を対応させたものです。左側の期待だけを読むと、条件の違いが見えにくくなります。

表の左側は、どれも一度は耳にする期待です。右側の研究で確かめられているのは、その期待が成り立つ条件と、成り立たない条件の両方です。条件を書かずに「AIは試験問題を解ける」とだけ言うと、この差が消えてしまいます。

「843年のヴェルダン条約で誕生した国で、後のドイツのもととなったのは何」を貼ると何が起きるか

この問題は、一つの問いに一つの国名で答える一問一答の形をしています。選択肢があるわけではないので、並び順に引っぱられる問題は起きません。その代わり、返ってきた国名が正しいかを、読み手が自分で判断しなければなりません。この問題そのものを生成AIに貼った正答率を調べた研究は見つかりませんが、一問一答で確かめるべき点は、選択式とは別にあります。

確認の手順としては、まず教科書の年表を開きます。843 年のヴェルダン条約で分けられた東フランク王国が、後のドイツのもとになったと年表に載っています。AIが返した国名がこれと一致するかを見て、一致しなければ用語集の索引でもう一度引きます。同じ質問を日を変えて聞き、返ってくる国名が変わらないかも見ます。

一問一答で起きやすい誤りには、型があります。似た名前の国どうしが入れ替わる、年号だけが別の条約のものになる、人物と国が結びついてしまう、といった形です。問題文が短いほど、AIは前後の文脈を持たずに答えを返すため、誤りがあっても読み手が気づきにくくなります。とくに、まだ習っていない単元の問題では、返ってきた答えのどこが怪しいかを判断する材料が手元にありません。

だから、貼る前に自分で答えを書いておき、AIの答えはその答え合わせの一つとして見る、という順番が要ります。自分の答えが間違っていても、どこで考え違えたかが残るので、AIの答えをただ読むより学びになります。この一行が、次に同じ型の問題を解くときの手がかりになります。

予備知識がない状態で貼ると、答えを評価できない

Shoufan（2023）は、コンピュータ工学の大学生に、まだ習っていない分野の過去のテスト問題を ChatGPT で答えさせ、前の学期に普通に答えた学生と比べました。問題の種類による効果量（差の大きさを、ばらつきを物差しにして表した数）は -2.55 から 1.23 まで幅があり、全体では ChatGPT を使った群が -0.16 だけ下回りました。画像を含む問題が特に苦手でした。著者は、十分な背景知識がない学生が生成された答えを評価するには、まだ頼りにならないと結論しています。

答えが正しいかを判断するには、その分野の最低限の知識が要ります。どの用語が同じ意味で使われているか、どの年号がどの出来事に対応するか、といった土台がないと、もっともらしい説明を読んでも誤りに気づけません。予備知識のない状態で貼る使い方が危ないのは、答えが間違っているときよりも、間違っていることに気づけないときです。

学習の側からも、同じ方向の結果があります。Adesope ほか（2017）のメタ分析では、練習のテスト（自分で思い出して答える）が、読み直しや他の比較条件よりも学習に役立ったと報告されています。問題を AI に貼って答えを読むだけでは、この思い出す過程を飛ばすことになります。このメタ分析は生成AIを扱った研究ではありませんが、答えを見る前に自分で答えるかどうかという点は共通します。貼る前に一行書く習慣は、この共通点を残すためのものです。

もちろん、調べ物として答えを知りたいだけの場面では、貼って読む使い方にも意味があります。試験前の学習で問題になるのは、答えを知ることではなく、試験本番で自分で答えを出せるようになることです。調べる目的と覚える目的を分けておくと、同じ貼り方でも使い方が変わります。

貼る前に自分で答える——学習としての使い方

問題文を貼る使い方をやめるのではなく、順番を変える、というのが研究から引き出せる使い方です。先に自分で答えを書き、その後にAIの答えを答え合わせとして見ます。この順番なら、貼る速さを保ちながら、思い出す練習も残せます。

手順は三つです。まず、問題を読んだらノートに自分の答えと、そう考えた理由を一行で書きます。次に、同じ問題文を ChatGPT に貼り、返ってきた答えと理由を読みます。最後に、教科書・資料集・用語集の該当するページを開き、国名や年号が一致するかを確かめます。一致しない場合は、どちらの根拠が年表や索引に載っているかを優先します。

AIへの頼み方は、答えを一つに決めさせず、根拠を分けて出させる形にします。たとえば「この問題の答えと、判断の根拠を分けて書いてください」と聞きます。別の候補が気になるときは「ほかに考えられる答えがあれば、それぞれの根拠も書いてください」と添えます。指示文を長くする必要はなく、どこを確かめるかが見える形であれば十分です。

答えが食い違ったときは、AIの答えを消さずに残し、自分の答えと並べて、教科書のどこで決着したかを書きます。この記録があると、同じ問題を日を変えて聞いたときに、答えが変わったかどうかも比べられます。答えそのものより、答えをどう確かめたかの記録のほうが、次の試験で役に立ち、同じ型の問題を解くときの手がかりにもなります。

保護者と生徒が確かめるチェックリスト

試験前の短い時間に使うなら、次の点だけでも見ておくと、答えの扱いが変わります。チェックするのは、答えが当たったかどうかではなく、答えを確かめた形跡があるかどうかです。形跡は、ノートの余白や教科書のページ番号に残ります。

• 貼る前に、自分の答えと理由を一行で書いたか。
• 返ってきた答えを、教科書・資料集・用語集のページで確かめたか。
• 同じ問題を日を変えて聞き、同じ答えが返るかを見たか。
• 選択式なら、選択肢の順番を変えても同じ答えになるかを見たか。
• AIの説明のうち、教科書に載っていない部分を答えとして書いていないか。
• わからない問題をAIの答えだけで済ませず、解説や先生に戻ったか。

保護者の方が見るところは、答えが当たったかどうかより、確かめた形跡があるかどうかです。ノートに自分の答えと、教科書のページ番号が並んでいれば、その使い方は学習に近づいています。逆に、AIの答えだけが写されていて、自分の答えや根拠が残っていなければ、試験本番で同じ問題を解けるかは別の問題になります。声に出して説明できるかどうかも、確かめたかを見分ける手がかりになります。

試験の直前や、まだ習っていない単元では、AIの答えを先に見る使い方を避けたほうがよい場面があります。覚えたつもりになりやすいからです。時間がないときほど、一問だけでも自分で答えてから貼る、という順番を守るほうが、結果として遠回りになりません。答えを先に見たときは、そのことをノートの端に書いておくと、後から振り返れます。

よくある質問

問題文をそのまま貼るのと、自分で解いてから貼るのでは何が違うのか

自分で解いてから貼ると、自分の答えとAIの答えを比べる材料ができます。違いが生まれた場所を教科書で確かめれば、どこを理解していなかったかが残ります。比べる材料があると、AIの答えが違っていたときに、自分の理解のどこを直せばよいかが具体的になります。問題文をそのまま貼るだけでは、正しい答えを読んでも、自分がどこでつまずいたかはわからないままです。

同じ問題を聞き直すと答えが変わることがあるのはなぜか

Gürses ほか（2026）の研究では、同じ入力でも回によって選ぶ選択肢が変わるモデルがありました。12 時間以上空けて 3 回解かせた条件でも、答えが揺れたということです。同じ答えが返るかどうかは、モデルの版や質問の仕方でも変わるため、一度の結果を記録しておくと後で見比べられます。1 回の答えを安定した正解として扱わず、日を変えて聞き直すとよいのは、このためです。

選択肢の順番を変えると本当に正答率は変わるのか

Pezeshkpour ほか（2024）は、選択肢の並び順を入れ替えるだけで、ベンチマークによって約 13% から 85% 成績が変わったと報告しました。上位の選択肢で迷うときに、位置の影響を受けやすいためと推測されています。選択式の問題を貼るときは、選択肢を入れ替えても同じ答えになるかを見ると、答えの安定性を確かめられます。

世界史の一問一答でも同じことが言えるのか

引いた研究で確かめられたのは、医学の試験を中心に、問題の形式と答えの揺れについてです。日本の大学入試や中高の世界史の問題を直接調べた研究は見つかっていないため、医学の試験の数字をそのまま当てはめることはできません。世界史の一問一答では、国名・年号・人物を教科書の年表と用語集で照合する手順を先に決めておくのが現実的です。

この記事の限界

問題文への正答を検討した研究の題材は、医学の試験に偏っています。Tanaka ほか（2024）は日本の医師国家試験ですが、Liu ほか（2024）がまとめた 45 本は各国の医学の試験で、評価したのはモデルの試験回答です。Gürses ほか（2026）はトルコ語の解剖学、Pezeshkpour ほか（2024）は英語のベンチマークで、日本の大学入試や中高の世界史の問題を扱ったものではありません。

使われたモデルは GPT-3.5 や GPT-4 で、公表から時間がたっており、モデルは版ごとに変わるため、同じ問題を同じように貼っても答えの出方は変わりえます。課題で許されるAI利用は学校ごとに違うため、貼り付ける前に授業の指示を読み、答え合わせには指定教材を使います。

参考文献

1. Tanaka ほか. Performance of Generative Pretrained Transformer on the National Medical Licensing Examination in Japan. PLOS Digital Health. 2024;3(1):e0000433.
2. Liu ほか. Performance of ChatGPT Across Different Versions in Medical Licensing Examinations Worldwide: Systematic Review and Meta-Analysis. Journal of Medical Internet Research. 2024;26:e60807.
3. Adesope ほか. Rethinking the Use of Tests: A Meta-Analysis of Practice Testing. Review of Educational Research. 2017;87(3):659-701.
4. Pezeshkpour ほか. Large Language Models Sensitivity to The Order of Options in Multiple-Choice Questions. Findings of the Association for Computational Linguistics: NAACL 2024. 2024:2006-2017.
5. Gürses ほか. Consistency over accuracy: run-to-run stability of contemporary large language models on Turkish curriculum-aligned theoretical anatomy multiple-choice questions. BMC Medical Education. 2026;26(1):285.
6. Shoufan. Can Students without Prior Knowledge Use ChatGPT to Answer Test Questions? An Empirical Study. ACM Transactions on Computing Education. 2023;23(4):1-29.

よくある質問