二段階で答えを出す歴史の問いを生成AIに聞くと途中の一段で誤るのか｜多段の推論の研究

電車の走る音が、手元の歴史の問題を読む間にも続いています。スマートフォンで生成AIに送る問いとして、「中国で水滸伝 三国志演義 西遊記 などの小説が成立したのは 何という王朝が納めていた時代のこと」を考えます。これは、中国の小説の成立した時期と、その時期を治めた王朝を結びつけて答える問題です。作品と時期の関係を押さえ、その時期を王朝につなぐという、途中の答えを必要とする形になっています。

二段階で答えを出す歴史の問いを生成AIに聞くと途中の一段で誤るのか｜多段の推論の研究

電車の走る音が、手元の歴史の問題を読む間にも続いています。スマートフォンで生成AIに送る問いとして、「中国で水滸伝 三国志演義 西遊記 などの小説が成立したのは 何という王朝が納めていた時代のこと」を考えます。これは、中国の小説の成立した時期と、その時期を治めた王朝を結びつけて答える問題です。作品と時期の関係を押さえ、その時期を王朝につなぐという、途中の答えを必要とする形になっています。

作品について詳しく説明できるAIなら、王朝まで続けて正しく答えられるかどうかが気になるところです。生成AIは部分の問いに正しく答えられても、それらをつなぐ問いで誤ることがあり、問いを分ける工夫にも効果と条件があります。こうした、複数の知識を段階的につないで結論を得る働きを「多段の推論」と呼びます。最後の王朝名だけを受け取る使い方では隠れてしまう、知識の受け渡しの部分に注目すると、どこまで自分で考えたかを記録しやすくなります。

要点

• 部分の知識に答える力と、部分をつなげて答える力の隔たり
• 記号操作などの課題で見られた、問いを分ける方法による改善
• 筋が通って見える別の道筋による、英語の読解課題への影響
• 最後の答えと、次の段へ渡した途中の答えの記録

「中国で水滸伝 三国志演義 西遊記 などの小説が成立したのは 何という王朝が納めていた時代のこと」を分けて考える

この問いを読んだとき、作品名から王朝名がすぐ思い浮かぶ場合もあります。しかし、思い浮かんだ名前だけでは、作品の成立と時期の関係を使ったのか、よく見た語の組を思い出したのかが見えません。二段の問いとして考えるなら、途中にある「作品の成立した時期」が、次の問いに渡す情報になります。問題文が短くても、その中で必要になる知識のつながりは短いとは限りません。

ここで区別したいのは、知らない事実があるための誤りと、知っている事実をつなげるときの誤りです。前者なら、途中の問いだけを出しても答えが誤ります。後者なら、部分の問いにはそれぞれ正しく答えられるのに、まとめて聞いた問いで答えがずれます。生成AIが作品を詳しく説明したことだけで、その後の時期と王朝の対応まで合っていると判断すると、この違いを見落とします。

Press（2023）は、GPT-3の系列のモデルに英語の事実の問いを出し、部分には答えられるのに全体では誤る「構成の溝」を調べました。モデルを大きくすると一段の問いの成績は伸びましたが、多段の問いの成績は同じ速さでは伸びず、この溝は縮まりませんでした。問われたのは、普段は一緒に出てきそうにない事実を組み合わせる課題です。知識の量が増えることと、その知識を必要な順序で使えることを分けて見る研究です。

一方、同じPress（2023）は、途中の考えを書き出すよう促す方法で、この溝が狭まることも示しました。思考の連鎖とは、結論だけでなく途中の推論を文章にして進める方法です。したがって、二段にすると誤るという結果は、問い方を変えても改善しないという意味ではありません。どの知識を次に使うかが表に出る問い方には、改善を試す余地があります。

問いを分ける方法で良くなった成績は、何の成績か

分け方にも違いがあります。長い説明を続けて書かせる方法と、先に小さな問いを作り、その答えを次の問いに使わせる方法は同じではありません。後者では、途中で得た情報が次の課題の入力になることをはっきりさせます。説明の長さより、前の答えを何に使うかが方法の中心です。

Zhou（2023）は、GPT-3 code-davinci-002を使い、難しい問いを易しい部分に分けて順に解く方法を試しました。対象のSCANは、指示を記号の列へ変えるなど、覚えた組み合わせを新しい形でも使えるかを測る評価用の問題集です。手本を14例与えた条件で、この方法の正答率は99%以上となり、途中の推論を書かせる思考の連鎖の16%を上回りました。これは記号を操作する課題の成績で、歴史上の事実を答える正答率ではありません。

表では、先に見たPress（2023）とZhou（2023）について、比べた方法と対象を並べます。成績が上がったという言葉だけを読むと、どんな問いでも同じ工夫が効くように見えます。実際には、知識の組み合わせを問う場合と、決められた規則で記号を操作する場合で、答えに必要な材料が違います。

途中の情報があっても、次の段で使えないことがあります

モデルの中で情報がどう扱われるかを調べる研究もあります。大規模言語モデルは、大量の文章から次に来る語を予測するよう学習した仕組みで、内部には情報を順に加工する層があります。利用者が読む説明文とは別に、研究者はその内部の情報を調べます。途中の人物や時期に関する情報があることと、それを最後の答えに使えていることを分けて探るためです。

Yang（2024）は、英語の事実の問いについて、途中を書かせない場合でも内部で段を追った推論が行われるかを調べました。関係の種類によっては、80%を超える問いで多段の道筋が使われている強い証拠が見つかりました。ただし平均すると、二段目と全体のつながりの証拠は中程度で、はっきりしていたのは一段目でした。モデルの規模を大きくしたときの伸びも、一段目では見られた一方、二段目では見られませんでした。

Biran（2024）は、英語の事実の問いを扱い、途中の情報を内部の層に戻す操作を試しました。それまで誤っていた例の最大66%で、正しい答えを生成させる操作が見つかりました。二段目を解く時点で必要な処理が不足する場合がある、という仕組みの理解につながる結果です。利用者がチャットに途中の答えを貼る操作とは異なり、モデル内部への研究上の介入を行っています。

これらの研究が注目しているのは、単に知識を持っていないという説明では捉えにくい失敗です。途中の情報が現れても、次の関係を求める処理にうまく届かなければ、最後の答えは崩れます。学習でAIの解説を読むときも、途中の語が出てきたことだけで安心せず、それが次の文のどの関係に使われているかを見る理由になります。

答えが合う近道と、もっともらしい別の道筋

正解が出た場合にも、評価の難しさがあります。作品名と王朝名がよく一緒に現れるなら、時期を経由せず、語の組から答えを選ぶ可能性が考えられます。これを見分けるには、途中の情報を使わないと解けない問題を用意する必要があります。最後の答えだけが一致する試験と、知識をつなぐ力を調べる試験は、問題の作り方から違います。

Trivedi（2022）は、英語のWikipediaの問いを使い、途中を飛ばす近道を防ぐように問題を組み合わせました。MuSiQueという問題の集まりでは、既存の問題集に比べて人と機械の差が3倍に広がりました。ここで評価したのは、大規模言語モデル以前のモデルです。結果は、問題集が変わるだけで、多段の推論ができているように見える程度も変わることを示しています。

Dziri（2023）は、多桁のかけ算や論理パズルなどを扱い、段階を組み合わせる課題の解き方を調べました。その結果は、モデルが体系的な解法を身につける代わりに、学習で見た部分的な型への当てはめを使う可能性を示しました。途中の形が見慣れたものなら進めても、新しい組み合わせで崩れるという問題です。これは計算やパズルの研究で、歴史の知識を直接試したものではありません。

さらにBhuiya（2024）は、英語の読解の問いに、もっともらしいが誤った答えに導く別の道筋を加えました。公開・非公開の複数のモデルで、F1という答えの一致の程度をまとめた指標が、相対で最大45%下がりました。元の成績からの相対的な低下であり、正答率が45ポイント下がったという数値ではありません。モデルは表面的な単語の手がかりを無視できても、筋が通って見える誤った推論には手こずりました。

学習上は、詳しい解説ほど安心してそのまま覚えてしまうことが危険につながります。途中の時期を取り違え、その時期に合わせた説明が続けば、後半だけを読んだときには整って見えるからです。自分がどの関係で迷っているかを言えないままAIの説明を追うと、理解できたつもりの部分も残ります。途中の答えを点検する時間がない場面では、生成AIに最終解答を任せる使い方を避けます。

電車で問いを解くときは、途中の答えを残します

「中国で水滸伝 三国志演義 西遊記 などの小説が成立したのは 何という王朝が納めていた時代のこと」を送る前に、まず紙に作品名を書きます。その横に成立した時期の欄を作り、さらにその時期の王朝へつなぐ欄を置きます。まだ知らないところは空けたままにし、思い出せた情報とAIから得る情報が混ざらないようにします。ここでの記録は、正解を飾るためではなく、自分が止まった関係を残すためのものです。

AIに手伝わせるなら、「この問いを、先に調べることと、その結果から答えることに分けてください」と短く頼む方法があります。返ってきた区切りでは、前半の答えが後半で本当に必要かを読みます。独立した説明が並ぶだけなら、分けた形にはなっていても、情報の受け渡しは見えていません。この頼み方は分解の案を得る使い方であり、案を受け取った後にも途中の関係を点検します。

次に、一段目の答えにあたる作品の成立した時期を、自分で教科書や用語集で確かめます。作品ごとの記載を見て、紙の途中の欄を埋めてから、その時期の王朝を考えます。最後の王朝名と問題全体の読み方は、問題集の解答と照らします。直す必要があれば、最後の名前だけを消すのではなく、時期の欄からずれたのか、王朝への対応でずれたのかを分けて残します。

電車が揺れて紙を広げにくいなら、無理に解答を完成させず、問いを分けたところで止めても構いません。途中が空欄のまま残っていれば、次に調べる箇所が見えます。逆に、AIの答えで全欄を埋めてしまうと、自分が何を知らなかったかが見えにくくなります。使うサービスに質問や記録を残す仕組みがあるかは、その時点の説明を読み、保存の扱いを知ったうえで利用します。

保護者は、途中の答えが紙にあるかを見ます

保護者が見る点は、子どもが問いを分け、途中の答えを紙に書いているかです。王朝名が合っているかだけを先に聞くと、見えるのは解答欄のできあがりだけになります。途中の欄があれば、作品から時期へ進む部分と、時期から王朝へ進む部分のどちらで止まったかを話せます。保護者が歴史の答えをその場で教える役になる必要はありません。

途中の欄が空いていることも、記録として意味があります。分けるところまではできたが、橋渡しになる情報をまだ持っていない状態が紙に表れているからです。空欄を急いで埋めさせるより、子どもがどの欄で止まったと考えているかを聞くと、解けた部分まで一緒に見失わずに済みます。途中を書いたことへの声かけも、説明の長さではなく、次の段に渡す情報が見えるかに絞れます。

紙に長いAIの説明を写してあっても、途中の答えが明確とは限りません。どの言葉が次の問いへの材料なのかを、本人が指せる形になっているかを見ます。候補がいくつも並んでいるなら、何を途中の答えとして採ったかがまだ決まっていない状態です。記録の見た目を整えることより、空欄や迷いを含めて、問いの進み方が読み取れることに意味があります。

電車の中で画面に答えが出る速さは、問いのつながりを自分で捉える速さとは別です。AIがすぐに最後の名前を返しても、紙には途中の欄が残ります。答えの文字列を受け取ることと、そこへ至る関係をたどれることは、学習の中で違う到達点です。

よくある質問

長く考えるよう頼めば、二段の問いも正しくなりますか

長さだけを目安にはできません。先に見たPress（2023）の結果が扱ったのは、途中の推論を明示する問い方であり、説明を長くすること自体の効果ではありません。AIの返答を見る際は、前半で得た情報が後半の問いにどう使われたかを追います。関係のない背景説明が増えていても、必要な知識の受け渡しが見えるようになったとは判断しません。

内部の情報を戻す研究の方法は、チャットでも使えますか

Biran（2024）の内部への操作を、通常の質問文だけで行うことはできません。内部の層とは、利用者から見える会話の履歴とは別の、モデルの計算を担う部分です。会話を戻して聞き直すことと、研究で内部の表現を操作することを同じ効果として扱わないようにします。利用者が試せるのは、問いの分解や、次に使う材料を明示する質問の工夫です。

すでに作品と王朝の組を覚えている場合も、分ける意味はありますか

自分の解答の根拠を振り返る目的なら、分ける意味があります。思い出した名前のほかに、時期との対応をたどれるかを試すと、覚えている語の組と、説明に使える関係を区別できます。AIの性能を評価する目的なら、先に見たTrivedi（2022）のように、途中を飛ばして解ける問題かどうかにも注意が要ります。単発の正解を、そのまま新しい組み合わせを解く力の証拠にはしません。

この記事の限界

比較した課題は英語の事実の問い、記号操作、計算やパズルが中心で、日本の中高生が歴史の問いを分けて学ぶ効果や、その後の定着を測ったものではありません。Press（2023）とZhou（2023）は2022〜2023年のGPT-3の系列を扱っており、今の推論型のモデルで構成の溝がどこまで縮んだかは、今回引いた研究では確かめられていません。

また、問いを分ける指示の比較と、モデル内部の情報に介入する実験では、変更した条件も評価の方法も違います。日本語の日本史・世界史の二段の問いで、生成AIがどの段で誤るかは、まだわかっていません。

参考文献

1. Press O ほか. Measuring and Narrowing the Compositionality Gap in Language Models. Findings of EMNLP 2023:5687-5711. doi:10.18653/v1/2023.findings-emnlp.378
2. Zhou D ほか. Least-to-Most Prompting Enables Complex Reasoning in Large Language Models. ICLR 2023 (poster, OpenReview WZH7099tgfM). arxiv:2205.10625
3. Biran E ほか. Hopping Too Late: Exploring the Limitations of Large Language Models on Multi-Hop Queries. Proc EMNLP 2024:14113-14130. doi:10.18653/v1/2024.emnlp-main.781
4. Yang S ほか. Do Large Language Models Latently Perform Multi-Hop Reasoning? Proc ACL 2024 (Vol 1: Long Papers):10210-10229. doi:10.18653/v1/2024.acl-long.550
5. Dziri N ほか. Faith and Fate: Limits of Transformers on Compositionality. Adv Neural Inf Process Syst 2023;36:70293-70332. doi:10.52202/075280-3081
6. Trivedi H ほか. MuSiQue: Multihop Questions via Single-hop Question Composition. Trans Assoc Comput Linguist 2022;10:539-554. doi:10.1162/tacl_a_00475
7. Bhuiya N ほか. Seemingly Plausible Distractors in Multi-Hop Reasoning: Are Large Language Models Attentive Readers? Proc EMNLP 2024:2514-2528. doi:10.18653/v1/2024.emnlp-main.147

よくある質問