四択の選択肢の順番を入れ替えると生成AIの答えは変わるのか｜選択肢の並びと答えの偏りの研究

早朝、開いた問題集の選択肢を指で追いながら、復習する問題を選びます。「q2. ブレスト・リトフスク条約によって第一次世界大戦から離脱した国はどこか。 ア．ロシア イ．イタリア ウ．イギリス エ．フランス」という問いを生成AIに送る場面を考えます。これは、条約と第一次世界大戦からの離脱に関わる国を結びつけ、候補から選ぶ歴史の問題です。国名を知っているかに加え、その国名が付いた記号を選ぶ形になっています。

四択の選択肢の順番を入れ替えると生成AIの答えは変わるのか｜選択肢の並びと答えの偏りの研究

早朝、開いた問題集の選択肢を指で追いながら、復習する問題を選びます。「q2. ブレスト・リトフスク条約によって第一次世界大戦から離脱した国はどこか。 ア．ロシア イ．イタリア ウ．イギリス エ．フランス」という問いを生成AIに送る場面を考えます。これは、条約と第一次世界大戦からの離脱に関わる国を結びつけ、候補から選ぶ歴史の問題です。国名を知っているかに加え、その国名が付いた記号を選ぶ形になっています。

中身を変えずに並びだけを変えたとき、生成AIが同じ国を選び続けるかどうかが気になるところです。生成AIは、選択肢の順番や記号を変えただけで答えを変えることがあります。ただし、記号が変わったことと、選んだ中身が変わったことは別なので、返ってきた文字だけの比較では見落としが生まれます。研究が測った偏りの仕組みを読み、早朝の復習では何を残して比べるかを考えます。答えが揺れた問題を見つけることと、その問題の正解を決めることを分けるのが出発点です。

要点

• 選択肢の中身だけでなく、答えに使う記号もAIの選択に影響します。
• 選択式の正答は、問題文を理解して答えを導いた証拠としては不十分です。
• 人の試験でも位置の偏りが見られますが、AIの仕組みと同じものとして扱わないようにします。
• 並べ替えの前後では、記号と選んだ中身を組にして記録します。

「q2. ブレスト・リトフスク条約によって第一次世界大戦から離脱した国はどこか。 ア．ロシア イ．イタリア ウ．イギリス エ．フランス」の記号と中身を分けます

この問いを送るとき、画面には問題文、国名、選択肢の記号が一緒に入ります。人が求めているのは問題文に合う国名ですが、AIに記号だけで返すよう求めると、出力する文字を選ぶ処理も答えに関わります。同じ国名を別の位置へ動かしたなら、その国名を選ぶ記号も変わります。前後で同じ記号が返ってきたから安定している、と判断すると、中身の変更を取り逃がします。

Zheng（2024）は、英語の選択式の試験で20の大規模言語モデルを調べました。大規模言語モデルは、大量の文章から次に続く語などを予測するよう学んだ仕組みです。研究では選択肢の位置による偏りを調べ、その主な原因として、特定の選択肢の記号に前もって高い確率を割り当てる傾向を見つけました。つまり、問題の内容に合う候補を探すことに加えて、記号自体の出やすさも選択に入り込んでいました。

ここでいうトークンは、モデルが文章を区切って扱う単位で、文字や語といつも一致するわけではありません。答えとして使う記号もその単位として扱われるため、同じ中身でも付けた記号によって選ばれやすさが変わりえます。研究はこの癖を見積もって補正する方法も提案し、偏りを和らげる結果を示しました。偏りが見つかったという報告は、選択式の問題をまったく解けないという意味ではなく、知識以外の要因が採点結果に混じるという意味です。

並びを保っても記号だけで成績が動きます

順番と記号は、似ていても別の変更です。国名の並びを動かす操作と、国名の並びを保ったまま目印だけを替える操作では、入力のどこを変えたかが違います。両方を同時に変えると、答えが揺れたときにどちらの変更と関わるのかを追いにくくなります。研究を読むときも、何を固定して何を変えたかを見ると、結果の意味がはっきりします。

Yang（2025）は、選択肢の記号だけをA/B/C/Dからi/ii/iii/ivへ替えると、正答率に約10%の差が生じると報告しました。比較したのは、選択肢の中身と順番を保ち、記号を変更した条件です。対象は「選択肢の記号を変えた大規模言語モデルの選択式課題」で、記号に偏って注意を向ける働きを弱める方法により、偏りを和らげて成績を改善したと述べています。正答率の差は記号の変更に伴う研究上の結果であり、並べ替えればその分だけ点が上がるという使い方の保証ではありません。

補正は、選択の癖を測ったり、モデル内部の働きを調整したりする研究上の方法です。利用者が問題を並べ替えて送り直す作業とは目的も仕組みも違います。復習で並べ替える目的は、当たりやすい記号を探すことではなく、内容が同じ問いへの答えの不安定さを見つけることです。都合のよい答えが出るまで配置を変えて採用すると、最初から期待した答えを選ぶ作業に変わってしまいます。

四択で当たることと、問いを理解することは別です

選択肢は、答えの候補を狭めると同時に、問題を推し量る手掛かりにもなります。Balepur（2024）は、英語の試験で、問題文を隠して選択肢だけを大規模言語モデルに見せる方法を調べました。その結果、試験とモデルの組み合わせの11/12で、最も多い答えを選ぶだけの基準を上回りました。中身の関係から問いを推し量る面があり、正答を得たことだけを問題文の理解と同一視できない結果です。

Singh（2025）は、医学の問題で、選択式と同じ内容の自由記述式を比べました。対象のGPT-4o、GPT-3.5、LLama-3-70B-instructでは、自由記述式の成績が選択式より平均39.43%低下し、人の低下幅22.29%より大きい結果でした。自由記述式は、候補から記号を選ぶ代わりに答えを自分で文章にする形式です。この比較は医学の問題を使った研究で、歴史の四択の成績を測ったものではありません。

復習で困るのは、記号の一致を見て、その内容の理解まで済んだと思ってしまうことです。AIの解答をそのままノートに残すと、問いにある条件と選んだ国名を結びつけた根拠が抜けたまま、答えだけが覚える対象になります。候補があるときには選べても、候補を外した問いでは思い出せない、という差も見えにくくなります。自分で思い出す練習が目的なら、最初の解答を作る段階ではAIを使わず、問題に向き合う時間を残すほうが目的に合います。

説明を添えさせることには、選んだ中身を読み取れるようにする役割があります。しかし、長い説明が付いたことだけで、その選択を正解と扱うのは早計です。比較のためには、選ばれた候補と、問題文のどの条件を理由にしているかを取り出します。文章の長さより、選択と条件の対応が読めることが役立ちます。

AIの試験の点数と、画面の答えも区別します

研究でいうAIの答えには、実際に書かれた文章とは違う決め方が使われることがあります。Wang（2024）は、英語の選択式の試験で、最初のトークンの確率から選択を決める方法と、モデルが実際に生成した文章の答えを比べました。両者の不一致率は60%を超えました。この割合は、同じ問題を何度も送ったときに答えが変わる割合でも、生成された文章の誤答率でもありません。

最初のトークンによる採点は、選択肢の記号のうち、どれが出やすいかをもとに答えを決めます。一方、画面の文章では、前置きや理由を書いた後に結論を示すこともあります。Wang（2024）は、この違いを踏まえて文章の出力も点検し、最初のトークンだけの評価に頼らないよう求めています。発表された選択式の点数を、そのまま日々のチャットの解答の正確さとして受け取ると、測り方の違いが抜け落ちます。

読者が復習で残すなら、AIの返答を記号だけに縮めず、選んだ中身を読み取れる部分も保存します。文章と記号が対応していない返答は、どちらかを自分に都合よく選んで正答扱いにしないことが必要です。その場合には、内容の理解を比べる前に、返答をどの候補への選択として数えるかが曖昧になっています。記録には、判定を保留した理由としてその食い違いを残せます。

また、順番を変えた返答だけでなく、元の問題と元の返答を残しておくと、入力の変更箇所を後から追えます。返答の途中にある国名を、結論として選んだ国名と取り違えないように読みます。引用された候補や退けた候補も文章に出てくるため、名前が登場するかどうかだけでは採点できません。短く答える形式でも、何を選んだかの読み取りを省略しない扱いが必要です。

人にも位置の偏りがありますが、正解探しの規則にはしません

Attali（2003）は、人の選択式の試験で、作る側と答える側の位置の好みを調べました。四択の試験では、誤答の約55%が真ん中の選択肢に集まりました。正解が真ん中にある問題は易しく、受験者の力の差を見分けにくくなると報告しています。対象の国や学年は抄録に記載がなく、これは生成AIを調べた結果ではありません。

Lions（2023）は、チリの全国試験の受験者195,715人を対象に、正解と誤答候補の位置を操作しました。対象は「チリの全国試験の受験者」で、位置を変えた条件の間に、小さいながら明確で一貫した効果がありました。五択では、正解がEよりAにある場合や、紛らわしい誤答候補が正解の後ろの離れた位置にある場合に、少し易しくなりました。どの位置が目立つかは試験の形や候補の配置にも関わり、真ん中だけを警戒すれば済む話ではありません。

これらは、人の解答にも配置が関わるという比較の材料です。人に真ん中を選びやすい傾向があったことから、AIも同じ理由で真ん中を選ぶと説明するのは飛躍です。AIでは記号の出やすさが問題になり、人の試験では作問や受験の行動を含めて位置の効果を見ています。共通しているのは、内容以外の特徴が選択に入り込む点で、原因まで同じだと考える必要はありません。

偏りの結果を、迷ったら特定の場所を選ぶという攻略法に変えるのも、復習の目的から外れます。並びの癖で選んだ答えがたまたま合うと、どの内容を理解できていないかが隠れてしまいます。AIの答えに自分の選択を合わせるときにも、記号が一致した安心だけで終えないようにします。正誤と別に、何を根拠に選んだかを残すと、復習すべき部分を区別できます。

早朝の復習では、並べ替えと内容の照合を分けます

「q2. ブレスト・リトフスク条約によって第一次世界大戦から離脱した国はどこか。 ア．ロシア イ．イタリア ウ．イギリス エ．フランス」を使うなら、まず元の問題文と選択肢をそのまま残し、自分の解答を付けてからAIの返答を記録します。次に、選択肢の文言を変えず、順番だけを入れ替えた版を作ります。別の候補に書き換えたり、問題文の条件を削ったりすると、同じ内容の比較ではなくなるので、編集した箇所を見直します。再度聞くときにも、元の版と入れ替えた版を見分けられる形で置きます。

記録には、各版の選択肢の順番、返答の記号、選ばれた国名、理由に挙げられた条件を並べます。記号が変わっても国名が同じなら、選んだ内容は保たれています。逆に記号が同じでも国名が違えば、内容は変わっています。返答が食い違ったら、どちらを採るかをAI同士の多数決で決めず、問題集の解答や教科書の該当箇所と照らします。

理由が読み取りにくいときに追加する指示は、「選んだ国名と、問題文のどの条件を根拠にしたかを短く説明してください。」程度で足ります。その説明は、正しさを保証するものではなく、照合する箇所を見つける材料です。国名と理由のつながりを解答の説明と比べ、食い違った箇所に印を付けます。使うサービスの入力や履歴の扱いは、そのサービスの最新の説明を読み、比較用の記録をどう残すか決めます。

保護者が見るのは、子どもが選んだ理由を記号ではなく中身で言えるかという点です。記号だけが返ってきたら、選んだ国名と問いの条件を結んで話してもらいます。AIの説明を長く読み上げることより、本人がどの条件を判断材料にしたかが聞き取れることに目を向けます。

早朝の復習の終わりには、答えが揺れた問題と、根拠を言葉にしにくかった問題を分けて残します。選択肢を並べ替える作業に時間を使い切らず、印を付けた内容を自分で答え直すところまで進めます。次に同じ問題を開くときには、前の記号を覚えているかではなく、問いの条件から選び直せるかを点検します。

よくある質問

並べ替えて同じ中身が返れば、正解と考えてよいですか

同じ中身が返ったことは、今回の並べ替えに対して答えが保たれたという記録になります。正解かどうかは別の判断で、同じ誤答が続く場合も比較の上では安定した答えです。記録欄も「内容が一致したか」と「正誤」を分ければ、一致しただけの問題に正答の印を付けずに済みます。並べ替えは不安定さを見つける点検として使い、安定性と正確さを別々に扱います。

自由記述で聞けば、記号の偏りを避けられますか

候補も記号も示さなければ、提示した記号から選ぶという条件はなくなります。ただし、問題の難しさも変わるため、自由記述に替えることは同じ試験の採点方法だけを変える操作ではありません。Singh（2025）の比較のように、選択式と自由記述式を組にした結果として読むことが必要です。復習でも、候補を見た解答と候補なしの解答には、その違いを記録します。

返答が変わったら、並び順が原因と決めてよいですか

家庭で返答が変わったという観察だけでは、並び順だけが原因だとは決められません。問題の写し間違いや追加した説明など、入力がほかにも変わっていれば、それも比較に入ってしまいます。調べ直すなら元の文を保存し、変更箇所を選択肢の配置に絞った記録を作ります。研究の結果と、自分が送った問題で観察した揺れを区別するためにも、入力と出力を組で残します。

この記事の限界

適用範囲の中心は英語の選択式課題で、医学の問題を使った研究や、チリの全国試験など人の受験を扱った研究も含み、日本の中高生が復習で生成AIを使った後の理解や記憶は測っていません。今の推論型のモデルに同じ大きさの偏りが残るかについても、ここで引いた研究から具体的な大きさを示すことはできません。

並べ替えて返答を比較する手順は、選んだ内容と記号を区別するための使い方です。日本の家庭で、この手順による学習の効果を検証した結果は扱っていません。ア・イ・ウ・エを使う日本語の四択問題で選択肢の順番を入れ替えた結果は、引いた研究には含まれていません。

参考文献

1. Zheng C ほか. Large Language Models Are Not Robust Multiple Choice Selectors. ICLR 2024 (spotlight, OpenReview shr9PXz7T0). arxiv:2309.03882
2. Yang Z ほか. Option Symbol Matters: Investigating and Mitigating Multiple-Choice Option Symbol Bias of Large Language Models. Proc NAACL 2025 (Vol 1: Long Papers):1902-1917. doi:10.18653/v1/2025.naacl-long.95
3. Balepur N ほか. Artifacts or Abduction: How Do LLMs Answer Multiple-Choice Questions Without the Question? Proc ACL 2024 (Vol 1: Long Papers):10308-10330. doi:10.18653/v1/2024.acl-long.555
4. Wang X ほか. “My Answer is C”: First-Token Probabilities Do Not Match Text Answers in Instruction-Tuned Language Models. Findings of ACL 2024:7407-7416. doi:10.18653/v1/2024.findings-acl.441
5. Singh S ほか. The pitfalls of multiple-choice questions in generative AI and medical education. Sci Rep 2025;15(1):42096. PMID 41298584 doi:10.1038/s41598-025-26036-7
6. Attali Y ほか. Guess Where: The Position of Correct Answers in Multiple-Choice Test Items as a Psychometric Variable. J Educ Meas 2003;40(2):109-128. doi:10.1111/j.1745-3984.2003.tb01099.x
7. Lions S ほか. Position of Correct Option and Distractors Impacts Responses to Multiple-Choice Items: Evidence From a National Test. Educ Psychol Meas 2023;83(5):861-884. doi:10.1177/00131644221132335

よくある質問