逆向きの一問一答を生成AIに出すと答えられるのか｜「AならばB」と「BならばA」の研究

何枚もの単語カードが、駅のベンチで手の中に重なっています。表を見て裏を思い出す復習の合間に、歴史の「テニスコートの誓いが発端となって起こった革命は」という問いを生成AIへ打ち込むこともあります。これは出来事を手掛かりに革命の名前を答える問題で、名前から関連する出来事を説明する向きとは反対です。知識の組は同じでも、問う側と答える側を入れ替えたときに、同じように答えられるかが気になるところです。

逆向きの一問一答を生成AIに出すと答えられるのか｜「AならばB」と「BならばA」の研究

何枚もの単語カードが、駅のベンチで手の中に重なっています。表を見て裏を思い出す復習の合間に、歴史の「テニスコートの誓いが発端となって起こった革命は」という問いを生成AIへ打ち込むこともあります。これは出来事を手掛かりに革命の名前を答える問題で、名前から関連する出来事を説明する向きとは反対です。知識の組は同じでも、問う側と答える側を入れ替えたときに、同じように答えられるかが気になるところです。

生成AIは、ある向きで答えられても、逆向きでは答えにくくなる場合があります。名前と説明を知っているように見えることと、その結びつきをどちらからでも取り出せることには違いがあります。人の暗記にも向きによる差が現れる課題がありますが、AIの失敗をそのまま自分の記憶の仕組みと重ねると、練習の組み立てを誤ります。AIがどの条件でつまずいたのかと、自分がどちらの向きで思い出せるのかを分けると、カードを裏返す意味がはっきりします。

要点

• 同じ知識でも、学んだ向きと問われる向きの違いに注意
• 逆向きの弱さを調べた親子関係の課題と、教科の一問一答との区別
• モデルの学習方法を変える対策と、利用者が文を添える工夫との区別
• 人の単語学習では、意味を読む練習と語を思い出す練習の両方

「テニスコートの誓いが発端となって起こった革命は」で見る問いの向き

一問一答には、手掛かりとして見せる部分と、自分で思い出す部分があります。長い説明を見て短い名前を答える形と、短い名前を見て説明を組み立てる形では、同じ内容を使っていても、答えに求められる作業が違います。前者は名前を取り出す作業が中心で、後者には説明に必要な要素を選ぶ作業も加わります。問いを逆にしたつもりでも、求める詳しさまで変えると、向きだけを比べたことにはなりません。

「テニスコートの誓いが発端となって起こった革命は」を生成AIに聞く場合も、まず注目したいのは、この手掛かりと答えの役割です。逆向きにする際は、元の答えを手掛かりにして、元の問題文にあった出来事を答える形にします。説明を自由に広げる問いに変えると、別の関連事項を挙げた回答まで同じ正解として扱いやすくなります。対応する内容の範囲をそろえることが、向きの違いを見分ける準備になります。

題名の「AならばB」と「BならばA」も、同じ意味になると決めつける表現ではありません。論理では、条件と結論を入れ替えた文が元の文から成り立つとは限らず、一問一答でも、ある説明に当てはまる名前が複数あることがあります。親子関係なら、子から親を問う関係と、親から子を問う関係では、尋ねる関係の呼び方も入れ替わります。逆向きの問題を作るときは、単に語順を反転させず、関係を表す言葉と答えの候補が適切かを見る必要があります。

この区別をせずに答えを比べると、AIが知識を取り出せない場合と、問題そのものが曖昧な場合が混ざります。前向きの答えが短い名前、逆向きの答えが長い説明なら、名前の一致だけで両方を採点することもできません。短い名前を答える欄と、必要な要素を含む説明の欄を分けておくと、どこで食い違ったかを残しやすくなります。

学んだ知識を逆から取り出しにくい「逆転の呪い」

Berglund（2024）は、ある向きで学んだ関係を逆向きに取り出せない現象を「逆転の呪い」と呼びました。大規模言語モデルは、大量の文章を使って言葉の続き方を学ぶ仕組みで、生成AIの土台に使われています。研究ではGPT-3とLlama-1に人物と作品の対応を追加で学習させ、学習した向きと逆の向きの問いを比べました。ここで調べたのは、文章を流暢に作れるかではなく、学んだ対応関係を別の入口から利用できるかです。

Berglund（2024）の対象のうち、数値が示されているのはGPT-4に出した有名人の親子関係の問いです。有名人から親を答える向きの正答率は79%、親から子を答える向きは33%という結果でした。英語の特定の人物関係を問う課題の数値であり、教科の知識を問う一問一答の成績ではありません。よく知られた名前について説明できることと、その人を別の関係から探し当てることが、同じ成績にならなかった点に意味があります。

さらにBerglund（2024）は、検討した範囲で、モデルの大きさや系列を変えても現象が現れ、学習データを増やす工夫でも和らがなかったと結論しました。これを勉強の道具として読むなら、前向きの回答だけを見て、逆向きにも使える知識がそろったと判断するのは早いということです。知っている名前を含む説明が出ると安心しやすいものの、それは別の入口から同じ名前を取り出す試験の代わりにはなりません。

学習者にとって困るのは、誤りを含む対応を、そのままカードに移して繰り返すことです。片側だけ正しい説明を読んだ後では、もう片側の答えも正しそうに感じられ、どちらを確かめたかの区別が薄れます。AIの前向きの回答を採点の基準にし、そのAI自身の逆向きの回答を丸付けする使い方では、独立した答え合わせになりません。問題を作る役目と、正しさを決める役目を同じ出力の中で済ませないことが、誤った組を覚えるのを避ける出発点です。

次の語を予測する学習と、改善の条件

Lv（2024）は、逆転の呪いの原因を、モデルに何を当てさせて学習させるかという点から調べました。多くの生成モデルでは、前までの文章から次のトークンを予測します。トークンはAIが文章を区切って扱う単位で、ひとつの文字や単語と一致するとは限りません。研究は、このような学習の目的が、逆向きの関係を使いにくくする原因になりうると述べています。

前から続きを作る練習を重ねることと、文の前後を同じように手掛かりとして読むことでは、学ぶ課題が違います。Wu（2024）は、文を前後から読むBERT型と、前から順に生成するGPT型のモデルを比較し、論理的な推論の扱いに違いがあると報告しました。著者らは、前後の文脈を読む強みと、順番に予測する強みを、課題に応じて使い分ける見方を示しています。「AIは逆向きが苦手」という言葉だけでは、作り方や課題による違いが落ちてしまいます。

Lu（2024）は、人が知識を逆向きに使うことを手掛かりに、学習データの作り方を工夫する方法を提案しました。モデルの学習を変える実験が対象で、データが十分にある条件でも限られた条件でも、提案した方法の有効性と、別の課題への広がりを示しました。学習の段階で行う対策なので、利用者が質問に短い言葉を添える工夫とは区別して読む必要があります。以下の表は、原因を考える研究と、対策を試す研究を分けたものです。

人の暗記は、語の組と外国語で分けて考える

人が語を覚える研究では「対連合」という課題が使われます。これは語を組にして覚え、片方を手掛かりにもう片方を思い出す課題です。Kahana（2002）は、成人の実験の再分析を含めて、前向きと逆向きの想起、つまり記憶から取り出すことの関係を検討しました。同じ組を逆向きに思い出す成績の結びつきは、同じ向きで調べた場合と同様に非常に強く、組をまとまりとして覚えるという見方を支えました。

一方、外国語の単語では、見た語の意味を答えることと、意味から外国語の形を思い出すことを分けて測れます。Bernardi（2024）は、外国語から英語へ答える練習と、英語から外国語へ答える練習の間で、学んだことがどれほど移るかを調べました。どちらの向きから始めても反対向きへの移りはありましたが、それは部分的で、反対向きの練習をすべて省けるほどではありませんでした。意味を読んで答えられた記録と、語を自力で出せた記録を別に残す理由になる結果です。

Terai（2021）は、英語を学ぶ日本語母語話者28人を対象に、英語から日本語、日本語から英語という練習の向きを調べました。結論は、英語の習熟度が、練習の向きの効果に影響するというものでした。同じ向きから始める方法を学習者全員に当てはめるより、今の力と、何を答えられるようにしたいかを合わせて考える材料になります。たとえば意味の理解を確かめたいのか、語の形を思い出したいのかで、カードの使い方を決められます。

これらは生成AIを使わずに人の記憶を調べた研究です。語の組をまとまりとして覚える課題と、外国語の理解や産出を含む課題では、反対向きに移るものの中身が違います。人の逆向きの間違いをすぐにAIと同じ現象と呼ぶより、手掛かりの意味がわからないのか、答えの語が出ないのかを分けるほうが、次に練習する箇所を選びやすくなります。

駅で試す、カードとAIの答えを混ぜない手順

駅のベンチで復習するなら、まず元の問題文と答えの組を手元にそろえます。この問いの革命名は教科書や問題集の解答で確かめ、その組をカードに移します。出来事から名前へ答える向きと、名前を手掛かりに出来事を答える向きで、答えの範囲を自分で決めておきます。逆向きにしたことで候補が広がる場合は、カードの手掛かりに、範囲を絞るための言葉を残します。

次に、答えの側を隠して自分で思い出し、出せた内容を短く書き留めます。すぐに裏返して読んだ内容は、自分で思い出せた内容とは分けて印を付けます。逆側からも同じように行い、名前が出なかったのか、説明の要素が抜けたのかを記します。単に正誤の印を付けるだけでなく、どちらを見て何を答えようとしたかを残すと、向きによるつまずきが見えます。

生成AIにも逆向きで聞くなら、関係を記した教科書の文を問いと一緒に添え、返ってきた答えを貼った文と照らします。指示の例は「添えた文を根拠に、問いの答えと対応する箇所を示してください。」程度で足ります。これは正答率の改善を示した研究結果の紹介ではなく、返答のどこを点検するかを見えるようにする使い方です。添えた文にある名前だけでなく、誰と何がどんな関係にあるかまで対応しているかを見ます。

AIの返答を記録するときは、文を添えたかどうかも残します。文を添えた答えと、何も添えずに知識から答えた返答を混ぜると、何を手掛かりに答えたかがわからなくなるためです。最初の回答を残したまま次の問いへ進めば、後から答えが変わった場合も追えます。使うサービスに文章を入力する際の扱いは、そのサービスが示す最新の利用説明で確かめます。

元の答えや関係を確かめる時間が取れず、AIの文をそのまま暗記するだけになりそうなら、その場で問題を増やす使い方は避けます。答えが複数考えられる問いを、AIの選んだ名前だけで採点することも避けたい場面です。すでに答えの範囲が決まっているカードで、自分が思い出せた部分を残すほうが、学習の記録として使いやすくなります。

保護者が見るのは、カードを両側から使っているか

保護者が見る点は、子どもがカードや一問一答を表からだけでなく裏からも使っているかです。歴史の知識をその場で詳しく説明してもらうより、どちらの面を見て答えているかに目を向けます。表から答えた後にカードを裏返し、裏を新しい手掛かりにして思い出す時間があれば、両方の向きを試しているとわかります。答えを読むためだけに裏返す動作と、裏から出題する動作は見た目が似ているため、そこを区別します。

見るのは正答数の競争ではなく、練習に反対向きが含まれているかです。片側を続けて使っていたなら、反対側を手掛かりにする番を設けられるようにします。子どもが片側で止まっても、その場で答えを先に言うより、どちらの面から考えているかを共有すると、練習の向きを取り違えずに済みます。保護者自身が出題役をする場合も、表から答えさせる流れだけを繰り返さないようにします。

また、両側を使うことと、同じ答え方を要求することは別です。名前を出す側では短く答え、説明を出す側では必要な内容を言葉にするため、見た目の長さはそろいません。両方向の練習を見守る際は、説明が長いことだけで、その向きがより難しいと決めないようにします。止まったときに表へ戻ったのか、裏を手掛かりに考え続けたのかという、カードの使い方に注目できます。

駅のベンチでカードを閉じるとき、束の中には表から答えたものと、裏からも考えたものが残ります。AIの画面に説明が並んでいても、その記録と、自分が答えを隠して思い出した経験は別々です。手の中のカードは同じ薄さのままでも、どちらの面を入口にしたかは、残した印に表れています。

よくある質問

逆向きで間違えたら、その知識をまったく知らないのですか

逆向きの誤答だけで、知識をまったく持たないと決めることはできません。先に見たBerglund（2024）の結果は、学んだ関係を問う向きによって、答えに使えるかどうかが違うことを示しています。利用時の記録でも、前向きの問い、逆向きの問い、それぞれの返答を組にして残せば、説明は出るのに名前は出ない、といった違いを区別できます。

反対向きに練習するなら、どちらから始めるのがよいですか

始める向きは、今練習したい答え方に合わせて選べます。外国語の形を思い出したいときは意味を手掛かりにし、意味の理解を見たいときは外国語を手掛かりにします。先に見たTerai（2021）の結果は習熟度による違いを示しているため、開始する向きを固定するより、取り出せなかった語や意味を記録して、次の練習に回す方法が考えられます。

AIに問題を大量に作らせると、逆向きの弱さを直せますか

利用者が問題を大量に作らせることと、モデルの学習をやり直すことは別です。先に見たLu（2024）の方法は、学習データの作り方を変える対策で、チャットで出題数を増やす方法ではありません。復習でAIに出題を頼む場合は、生成された問題の数よりも、手掛かりと答えの関係が保たれているかを見て、曖昧な問題はカードに移す対象から外します。

この記事の限界

適用範囲は、英語の関係知識を扱うモデルの実験と、人の語の記憶・外国語学習の研究が中心で、日本語の教科の一問一答におけるAIの正答率を直接測ったものではありません。AIについて引いた研究の時期と現在とではモデルや学習方法が変わっており、同じ向きの差が今のモデルにも同じ程度に現れるかは、これらの結果だけでは判断できません。

人の研究も、KahanaとBernardiは抄録に対象者の国・年齢の記載がなく、Teraiの日本語母語話者の研究も中高生を対象とした結果としては位置づけられません。日本の中高生が一問一答を両方向で練習した結果と、AIの逆向きの答えを比べた研究は、今回は見当たりませんでした。

参考文献

1. Berglund L ほか. The Reversal Curse: LLMs trained on “A is B” fail to learn “B is A”. The Twelfth International Conference on Learning Representations (ICLR 2024)（OpenReview 採択・poster）. 2024.
2. Lv A ほか. An Analysis and Mitigation of the Reversal Curse. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP 2024). 2024:13603-13615.
3. Wu D ほか. Exploring the reversal curse and other deductive logical reasoning in BERT and GPT-based large language models. Patterns (N Y). 2024;5(9):101030.
4. Lu Z ほか. Rethinking the Reversal Curse of LLMs: a Prescription from Human Knowledge Reversal. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP 2024). 2024:7518-7530.
5. Kahana MJ. Associative symmetry and memory theory. Mem Cognit. 2002;30(6):823-840.
6. Bernardi E ほか. Toward mastering foreign-language translations: transfer between productive and receptive learning. Memory. 2024;32(9):1235-1246.
7. Terai M ほか. Effects of learning direction in retrieval practice on EFL vocabulary learning. Stud Second Lang Acquis. 2021;43(5):1116-1137.

よくある質問