「誤っているものはどれか」を生成AIに解かせると正しい文を選ぶのか｜否定の問いの研究

早朝、開いた問題集の「誤っているもの」に線を引いたとき、生成AIもこの向きを読み取って答えているのかと気になりませんか。手元の選択肢について説明はもっともらしく続いているのに、最後に示された番号が説明と合わないことも考えられます。知識を取り違えたのか、選ぶ向きを逆にしたのかは、番号だけでは見分けにくいものです。生成AIが否定を取り落とす危険を示す研究はあり、正しい文を選ぶ逆転にも注意が必要です。

「誤っているものはどれか」を生成AIに解かせると正しい文を選ぶのか｜否定の問いの研究

早朝、開いた問題集の「誤っているもの」に線を引いたとき、生成AIもこの向きを読み取って答えているのかと気になりませんか。手元の選択肢について説明はもっともらしく続いているのに、最後に示された番号が説明と合わないことも考えられます。知識を取り違えたのか、選ぶ向きを逆にしたのかは、番号だけでは見分けにくいものです。生成AIが否定を取り落とす危険を示す研究はあり、正しい文を選ぶ逆転にも注意が必要です。

「正しい内容を説明できること」と「誤った文を答えとして選べること」は、分けて点検できます。前者では各文の内容を確かめ、後者では設問が求めた条件に合う文を選びます。早朝の短い演習でAIを使うなら、返ってきた解説の長さより、この判断のつながりを見るほうが点検箇所を絞れます。選択肢ごとの正誤と理由を並べ、教科書や解説と照らしてから、自分で最後の文を選ぶ使い方を考えます。

要点

• 否定の有無に鈍いモデルや、否定を含む推論で崩れるモデルが研究で報告されています。
• 否定文での訓練は改善につながりますが、別の形の否定への応用には課題が残りました。
• 人の試験では、否定形が取り違えを招く結果と、かえって易しくなる結果があります。
• AIの説明を選択肢ごとに照合し、設問に合わせて最後に選ぶ判断を手元に残します。

「東南アジアの国々について述べた文として誤っているものはどれか」で分ける判断

この設問で選ぶべきものは、内容の正しい文ではなく、内容の誤った文です。ところが解説を読む間は、それぞれの国や出来事について正しい説明を探すことになります。そこで、解説中の「正しい」という評価と、設問の「答えに選ぶ」という操作を同じ意味で読まない工夫が必要です。選択肢を正しいと判断したこと自体は、否定の設問では、その文を選ばない理由になります。

見直しでは、誤りの場所を分けて考えます。たとえば国や時期の対応を誤って説明していれば、選択肢の内容の判定が崩れています。一方、文の内容を正しいと説明しながら、その文を「誤っているもの」の答えに挙げていれば、説明と選択の間に食い違いがあります。この区別を付けると、用語の説明を読み直すべきか、設問の条件へ戻るべきかを決めやすくなります。

ただし、否定は設問の末尾だけに現れるとは限りません。選択肢の中にも「含まれない」「行われなかった」などがあれば、その否定を含めた文全体の内容を判断する必要があります。設問の否定を外す作業と、選択肢の否定を消す作業を混ぜると、元とは別の問題になります。入力する前に、求める選択の向きと、各文が述べている内容を別々に読むことが出発点です。

AIへの問いを肯定形に直す場合も、選択肢をそのまま保つことに意味があります。「正しいものを選ぶ」に変えると、該当する文の数まで変わることがあるためです。元の設問と同じように答えを選ばせるより、各文の正誤だけを検討する作業として切り出すほうが、出力の用途を明確にできます。東南アジアの王国や出来事の知識は、問題集の解説や教科書の記述と照合する対象として扱います。

言語モデルは否定のどこでつまずいたのか

Truong（2023）は、GPT-neo・GPT-3・InstructGPTを、英語の否定を含む評価課題で調べました。言語モデルとは、大量の文章を学習し、文脈に続く語などを予測する仕組みで、対話型の生成AIの土台です。モデルの大きさや問い方を変えても、否定の存在への鈍さ、否定を表す語の意味の扱い、否定のもとでの推論に弱点が見られました。否定に関する問題は、単に末尾の語を読み落とすことだけではありません。

Kassner（2020）は、それより前の世代の言語モデルを、知識を問う穴埋め課題で調べています。否定の有無だけが違う問いを比べても、モデルはその違いを適切に扱えませんでした。また、問いの前に置かれた無関係な語にも答えが引きずられました。知っている語の組み合わせを出せることと、否定を含めて文の意味を扱えることの間に、ずれがあると読むことができます。

こうした研究から読み取れるのは、出力の中に関連する知識が並んでいても、設問の否定が判断に反映されているかは別に点検する必要があるという点です。解説に教科書で見た用語が多いと、その解説全体を受け入れたくなるかもしれません。しかし、使われた用語の正しさだけでは、選んだ文が設問の条件に合うかは決まりません。出力を読む際は、説明の内容と最終的な選択を結ぶ理由に注目します。

研究の課題にも区別があります。穴埋めでは文脈に入る語を答え、真偽判定では提示された文の内容を評価し、選択式では候補を比較して答えを選びます。それぞれで否定が関わる位置は異なります。以下の比較では、否定があるという共通点だけで結果をまとめず、何を比べて弱点や改善を見たのかを並べます。

追加訓練で良くなる部分と、残る部分

García-Ferrero（2023）は、常識について記述した約400,000文を用い、その約2/3にさまざまな形の否定を含めて、公開されている大型の言語モデルを評価しました。肯定文の真偽判定に比べ、否定文では成績が落ち、表面的な手がかりに頼る傾向がありました。否定文で追加訓練すると性能は改善しましたが、別の形の否定への応用には課題が残りました。ここでの追加訓練とは、会話で注意を促すことではなく、学習用の文を使ってモデルを調整することです。

Zhang（2023）の対象は、モデルの規模や系統、問い方を変えた言語モデルです。否定を含む問いに対する成績の伸び方を調べました。規模が大きくなるほど成績が下がる場合も、途中から上がる場合も、素直に上がる場合も見られました。より有効な問い方や新しいモデルの系統では、成績が素直に伸びる方向へ移りました。否定の弱さは、どのモデルでも同じ程度に現れる固定した性質として扱うより、条件ごとの評価で捉える必要があります。

研究を比べるときは、「否定が苦手だった」という結論に加えて、改善の条件を読みます。追加訓練の結果を、ふだんのチャットに注意書きを足した効果と取り違えないようにします。規模の違いを調べた結果も、使い手が長い質問を書けば良くなるという意味ではありません。表には各研究が実際に比べた対象を対応させています。

人の試験でも、否定形は一様に難しくなるわけではありません

Chiavaroli（2017）は、人が受ける選択式試験の分析をもとに、否定形の問いが評価をゆがめる問題を論じています。医学などの重要な試験で、普段は成績の良い学生が否定形の問いで誤答する現象が取り上げられました。否定の語を目立たせても、肯定形の問いとして答える取り違えを防ぎ切れないとしています。これは、知識の不足だけを誤答の原因と考えると、見落とすものがあるという指摘です。

Harasym（1992）は、カナダの看護学生に、各年約200人、連続する2学年にわたって90問の選択式試験を異なる形式で実施しました。「誤っているものを選ぶ」形式と、「正しいものをすべて選ぶ」形式を比べています。前者では、選択肢どうしの比較から候補を消せる手がかりがあり、後者のほうが試験の信頼性と妥当性が高いと報告されました。信頼性は測定の安定性、妥当性は点数から目的の能力を適切に読み取れるかという観点です。

Klender（2019）は、医学部の組織学の試験で、求める思考の段階、画像の有無、内容を学んだ時期などをそろえて設問を比べました。知識の想起などを問う段階では、否定形のほうが易しくなりました。同時に、成績の良い学生とそうでない学生を見分ける力は弱くなりました。否定形の問題で正答が増えても、そのまま内容の理解をよく測れているとは限らないという結果です。

これらの人の試験の研究は、解く側の成績に加え、問題の形式が評価に及ぼす影響も扱っています。またHarasymの比較では、否定か肯定かだけでなく、答えを選ぶ形式も変わっています。読み手が持ち帰れるのは、誤答なら知識不足、正答なら理解十分と即断せず、どの判断を経たのかを見る視点です。AIの答えを採点するときにも、番号の一致と、各選択肢を説明できることを別々の欄に残せます。

答えだけの利用が役に立ちにくい場面

早朝の演習を早く終えようとして、AIの最終回答だけを写すと、内容を誤ったのか選択を逆にしたのかという区別が消えます。正答の番号と一致していても、途中の説明で別の文を誤りと扱っているなら、説明の内容は改めて照合する対象です。逆に番号が違っていても、各文の判定は合っていて、選ぶ向きだけが逆の場合があります。採点後に残す記録を番号だけにすると、次に読み直す箇所まで同じ扱いになってしまいます。

AIの説明を覚える前には、誤りとされた箇所を実際の文の中で特定します。たとえば時期が違うという説明なら、どの語が、教科書のどの記述と食い違うのかを対応させます。単に「不適切です」と書かれているだけなら、覚えるための根拠はまだそろっていません。説明の調子が明快であっても、対応する記述を見つけてから学習用のノートに移します。

問題集の解説だけで疑問が解ける場合は、生成AIを挟まず、その記述を選択肢と比べるほうが作業を短くできます。自分が否定の設問を読み取れるか練習したいときも、最初の選択はAIを開かずに行うほうが目的に合います。判断の途中を見たい練習で、先に完成した解答を読むと、自分がどこまで判断できたかの記録を残しにくいためです。AIを使うなら、自分の理由を書いた後で、疑問のある選択肢の説明を検討する作業に位置づけます。

点検する資料が手元にないまま、AIの出した正誤を新しい知識として書き留める使い方も避けたいところです。あとから見返したときに、教科書で確かめた内容とAIの説明との区別が付かなくなります。未照合の説明は、学習済みの内容とは別に置き、調べる語や箇所を記しておきます。保護者が見るときも、ノートの量より、どの説明を何に照らして採用したかをたどります。

選択肢ごとの判定を出させ、最後は自分で選びます

まず、元の設問の「誤っているもの」「適当でないもの」に当たる部分を手元で囲みます。そのうえで、選択肢を元の順番のまま読み、自分の判定と迷った語を残します。AIに渡す際も、文の中の否定や条件を省かずに入力します。入力した文を短く整えた結果、時期や対象の限定まで失っていないかを先に点検します。

指示文の例は、「各選択肢の正誤と理由、誤りに当たる語句を示し、最後の選択はしないでください。」です。これは正答率の向上が実証された手順としてではなく、点検する材料を分けるための提案です。返答を読む際には、選択肢の記号と文が対応しているかを見てから、理由の中で挙げられた箇所を教科書や解説に照らします。AIが自発的に最終回答まで書いた場合も、その番号を写す前に、各文の判定へ戻ります。

手元には、選択肢の記号、AIの判定、照合した資料の箇所、自分の判定を横に並べて残します。すべてを長く書き写す必要はなく、判定が食い違った語を中心に記録します。内容の正誤が決まったところで元の設問へ戻り、求められた向きに合う文を選びます。答え合わせでは最終回答に加え、判定を変えた理由が資料の記述と合っているかを読み直します。

保護者は、知識の正誤をその場で言い切る役にならなくても、この記録の対応を一緒にたどれます。説明の中で「正しい」とされた文が最後に選ばれていたら、元の設問の条件と並べます。教科書で探す場所が決まらない場合は、AIへ質問を重ねる前に、解説の見出しや用語集の項目を探します。確認のためのチェック項目は、次のように作業の跡が見える形にします。

• 設問が求める向きを囲んでいます。
• 選択肢の否定語や条件を入力時に保っています。
• AIの判定と、その理由が指す語句を対応させています。
• 自分の判定の隣に、照合した資料の箇所を残しています。
• 最後に選んだ文が、元の設問の条件に合っています。

よくある質問

否定の部分を強調して入力すれば十分ですか

強調だけで十分とは考えず、返答の正誤判定と最終的な選択を照合します。Chiavaroli（2017）は人の試験について、否定語を目立たせても取り違えを防ぎ切れないと論じています。AIへの入力では強調したかどうかより、その条件が出力の判断に反映されたかを読み、選択肢ごとの説明と答えが食い違う箇所を探します。

「正しいものを選ぶ」に変えて聞けばよいですか

設問をそのまま置き換えるより、各選択肢の文全体が正しいかを別々に尋ねる形が扱いやすくなります。問いの向きを変えると、該当する選択肢の数や答え方も変わり、元の問題と対応しにくくなるためです。選択肢の文は否定語や対象を限定する表現も含めて保ち、出てきた判定を教科書で照合してから、元の否定の設問に戻って選びます。

番号が合っていれば解説も覚えてよいですか

番号の一致だけで解説まで採用せず、誤りとされた語句と根拠を照合します。選択肢を消す手がかりで答えに到達する場合もあり、Harasym（1992）は人の試験でその問題を指摘しています。学習用の記録には、番号に加えて、どの語をどの記述に照らして判断したかを残すと、答え合わせの際に説明の食い違いも追えます。

この記事の限界

比較の中心は英語の否定課題を解く当時の言語モデルと、海外の医学・看護教育での人の試験であり、GPT-4以降のモデルで否定形の選択式と肯定形を比べた査読研究は、今回参照した研究群では見つからなかったと整理されています。モデルや問い方で成績は変化するため、過去の弱点が現在の生成AIにも同じ程度で残るかは、この比較では決まりません。

日本語の「誤っているもの」「適当でないもの」、日本の中高生の定期テストや共通テスト形式、東南アジアの国々を題材に調べた研究は見つからなかったとされています。提示した点検手順についても、使った直後の誤答や長期の学習への効果は測られておらず、日本語の選択肢を読む学習者での検証が今後の課題です。

参考文献

1. Truong TH ほか. Language models are not naysayers: an analysis of language models on negation benchmarks. Proceedings of the 12th Joint Conference on Lexical and Computational Semantics (*SEM 2023). 2023:101-114.
2. García-Ferrero I ほか. This is not a Dataset: A Large Negation Benchmark to Challenge Large Language Models. Proceedings of EMNLP 2023. 2023:8596-8615.
3. Kassner N ほか. Negated and Misprimed Probes for Pretrained Language Models: Birds Can Talk, But Cannot Fly. Proceedings of the 58th Annual Meeting of the ACL. 2020:7811-7818.
4. Chiavaroli N. Negatively-Worded Multiple Choice Questions: An Avoidable Threat to Validity. Practical Assessment, Research & Evaluation. 2017;22(3).
5. Harasym PH ほか. Evaluation of Negation in Stems of Multiple-Choice Items. Eval Health Prof. 1992;15(2):198-220.
6. Zhang Y ほか. Beyond Positive Scaling: How Negation Impacts Scaling Trends of Language Models. Findings of the ACL: ACL 2023. 2023:7479-7498.
7. Klender S ほか. Differences in Item Statistics Between Positively and Negatively Worded Stems on Histology Examinations. HAPS Educator. 2019;23(3):476-486.

よくある質問