教科書に一行しか出ない人物を生成AIで調べるとどこまで信じてよいか｜珍しい題材での正確さの研究

1 万 4 千問の質問を使って、あまり知られていない題材について言語モデルが覚えている知識の正確さを調べた研究があります（Mallen ほか 2023）。週末の午後、世界史の教科書を開くと、ある人物の名前が一行だけ載っていて、その前後の説明は数行しかありません。教科書の索引で引いても、本文は一行と小さな挿絵だけで、何をした人なのかは想像するしかないことがあります。授業で詳しく扱われなかったこの人物について、生成AIに聞けば年表の穴を埋めてくれそうに思えます。

教科書に一行しか出ない人物を生成AIで調べるとどこまで信じてよいか｜珍しい題材での正確さの研究

1 万 4 千問の質問を使って、あまり知られていない題材について言語モデルが覚えている知識の正確さを調べた研究があります（Mallen ほか 2023）。週末の午後、世界史の教科書を開くと、ある人物の名前が一行だけ載っていて、その前後の説明は数行しかありません。教科書の索引で引いても、本文は一行と小さな挿絵だけで、何をした人なのかは想像するしかないことがあります。授業で詳しく扱われなかったこの人物について、生成AIに聞けば年表の穴を埋めてくれそうに思えます。

けれども、返ってきた説明のうち、どれが教科書と一致し、どれが生成AIの推測なのかは、読んだだけでは区別がつきません。信じてよいのは、教科書や用語集、百科事典で裏が取れた部分だけです。 中学生や高校生だけでなく、説明を読む保護者にとっても、どこまでが事実でどこからが補われた話かは見分けにくいものです。ここでは、珍しい題材で正確さがどう変わるかを研究の数字でたどり、説明を読む前に決めておける確認の順番も示します。

要点

• あまり知られていない題材ほど、生成AIが記憶から答える正確さは下がります（Mallen ほか 2023、Sun ほか 2024）。
• よく知られた題材では正答が高く、モデルを大きくしても改善するのは主に有名な題材の側です（Mallen ほか 2023）。
• 医学の診断でも、よくある病気より珍しい病気で正答が低く、モデルごとの差も大きくなりました（Wang ほか 2026）。
• 資料を検索して渡す方式では正確さが上がり、医学の 20 本をまとめた分析ではオッズ比 1.35 でした（Liu ほか 2025）。
• 教科書の一行を軸にして、教科書・用語集・百科事典で裏の取れない部分は書かない運用が現実的です。

生成AIは教科書の一行をどこまで埋めるのか

人物の名前を入れて「何をした人か教えて」と頼むと、生成AIは生没年らしき数字、出身、主な著作、後世への影響を、整った文章で返してきます。教科書の一行しか知らない人でも、説明は数秒で出てきます。この速さと文章の整い方が、内容の正確さと取り違えられやすいところです。

生成AIは、大量の文章を読み込んで次に来る語を予測する仕組みで、答えを返すときに「これは自分の記憶に無い」とは言いません。情報が乏しい題材でも、それらしい語をつないで説明を作れます。説明の長さと、内容が正しいかどうかは、別に考えます。

教科書の一行は、その人物がどの時代に生き、何をしたかを示す最小限の手がかりです。手がかりが少ないほど、生成AIは足りない部分を周りの知識から補います。補った部分は本文と同じ調子で書かれるため、読む側には補った箇所と元の記述の区別がつきにくくなります。

だからこそ、説明を読む前に何を確かめたいのかを決めておく必要があります。人物の時代、国、主な仕事、教科書での扱いの 4 点を先に書き出し、説明はその 4 点の答え合わせとして読みます。この順番なら、説明の上手さに引っぱられにくくなります。

教科書の一行が「中世の神学者」のような短い紹介であっても、そこには時代と立場の手がかりが入っています。この手がかりを外すと、生成AIの説明が別の人物の話にすり替わっていても気づけません。説明を読む前に、手がかりを 1 行のメモにしておくと、照らす場所がはっきりします。

知られていない題材ほど正答は下がる

題材の知られ方と正答の関係を正面から調べた研究があります。Mallen ほか（2023）は、あまり知られていない題材についての 1 万 4 千問を含むデータを作り、言語モデルが覚えている事実の正確さを、題材の知られ方ごとに比べました。あまり知られていない題材ほど正答が下がり、モデルを大きくしても、主に有名な題材の正答が上がるだけだったと報告しています。

Sun ほか（2024）は、知られ方で「よく知られた」「中くらい」「あまり知られていない」に分けた事実の問い 1 万 8 千組を作り、公開されている 16 のモデルを自動で採点しました。どのモデルも知識は完全からほど遠く、特に中くらいからあまり知られていない題材で弱かったとしています。16 のモデルに共通していたのは、有名な題材ほど正答が高く、そこから離れるほど正答が落ちるという傾向でした。

この 2 本を並べると、教科書に一行しか出ない人物は、研究でいう「あまり知られていない題材」に近い位置にあると考えられます。ただし、この 2 本が測ったのは英語の短い事実の問いへの正答です。歴史上の人物の説明文では、年号や著作名に加えて業績の解釈まで含まれるため、短い問いより誤りの入り込む余地が大きくなります。

よく知られた題材での成績が高いことも、同時に押さえておく必要があります。有名な人物や出来事については、生成AIの答えはかなり当たります。その経験があると、同じ調子で返ってきたマイナーな人物の説明も正しいと感じてしまいます。題材の知名度で説明の信頼度を変える、という習慣が要ります。

珍しい病気の診断で下がった正確さ

医学の診断は歴史上の人物の知識とは題材が違いますが、珍しい題材で正確さがどう変わるかを見る材料になります。Wang ほか（2026）は、中国語の複数のモデルに、よくある病気の慢性閉塞性肺疾患 28 例と、珍しい病気の再発性多発軟骨炎 28 例を段階的に見せて診断させました。よくある病気ではどの段階でも 82.14%〜92.86% の正答だったのに対し、珍しい病気では最初の情報だけの段階で 32.14%（DeepSeek）と 35.71%（Doubao）まで下がり、情報を足すと 71.43% と 78.57% まで上がったと報告しています。

Yu ほか（2025）は、珍しい血液の病気の実際の入院記録を使って複数のモデルを比べ、さらに医師がモデルの答えを見て診断する実験を行いました。推論を重ねる新しい世代のモデルは、候補 10 個のうちに正解を含める割合が 70.3% に達し、経験の浅い医師の正答を上げたと報告しています。一方で、病気の種類によっては成績が低く、偏った答えが医師の判断を誤らせる場合もあったとしています。

この 2 本が示すのは、珍しい題材での正答が、情報の量と答え方の形で大きく変わるということです。同じ珍しい病気でも、情報を段階的に足せば正答が上がり、候補を 10 個まで広げれば正解が入る割合は高くなります。下がるのは、初めの情報が少ない段階での一発目の答えと、候補を 1 つに絞る場面です。

医学の結果を人物の知識に置き換えるときは、この違いを意識する必要があります。人物の説明では、候補を 10 個挙げるような使い方はふつうしません。名前を聞いて 1 つの説明を受け取り、それを読むだけです。

診断の研究で示された改善は、情報を足す・候補を広げるという条件を自分で作ったときに得られるものです。教科書の一行から始めるときも、同じ考え方が使えます。手元の情報を増やしてから聞く、答えを 1 つに絞らせず複数の見方を出させる、という 2 つの工夫です。

資料を検索して渡すと正確さは上がる

では、手元の情報を増やせば正確さは上がるのか。Liu ほか（2025）は、2023 年から 2024 年までの医学分野の研究のうち、モデルだけで答えさせた場合と、資料を検索して渡してから答えさせた場合を比べた 20 本をまとめました。335 本から条件に合う 20 本を選び、まとめた効果はオッズ比 1.35（95% 信頼区間 1.19〜1.53）だったと報告しています。

Chandra ほか（2026）は、珍しい遺伝の病気であるウィルソン病について、文献全体を検索して答える仕組みを作り、複数のモデルで評価しました。文献を根拠にすると、答えの正確さと臨床上の的確さが大きく上がり、小さなモデルでも検索と組み合わせれば競える成績だったとしています。評価では、例示なしと例示ありの条件が比べられています。

この 2 本は、検索して資料を渡す方式の効果をまとめたものです。どちらも仕組みを作って評価した研究で、利用者が普通に使う画面とは条件が違います。画面の上では、どの資料を検索したのかが答えに添えられているかを、まず見る必要があります。

自分でできる形に直すなら、調べたい人物のページを百科事典や用語集から写して、生成AIに渡す方法があります。渡した文章の範囲で説明させる指示にすれば、記憶から補う余地を狭められます。それでも、渡した文章の読み違いは残るので、最後は自分の目で照らす必要があります。

アルベルトゥス・マグヌスの一行から確かめる手順

ここまでの研究を、教科書の一行から始める手順に直します。まず、教科書のその一行をそのまま書き写し、前後の文と索引の項目も一緒に集めます。同じ人物が載っている用語集や資料集があれば、説明の範囲を並べます。

次に、集めた文を生成AIに渡し、渡した文の範囲だけで説明を作らせます。指示の例は「次の文章だけを根拠に、この人物の時代・国・主な仕事を 3 行でまとめて」という形です。あわせて「渡した文章に根拠が無い部分には『根拠なし』と付けて」と頼むと、補った箇所が見えやすくなります。渡した文に無い内容が混ざったら、その部分は採用しません。

生成AIの説明を読むときは、時代・国・主な仕事・教科書での扱いの 4 点に分けて、教科書と照らします。年号や著作名は、用語集の索引でもう一度引きます。説明の中で最も具体的な数字や書名ほど、誤りが混じったときに見つけにくいので、先に疑ってかかります。

表にすると、どこが一致してどこが食い違ったかが残ります。教科書の記述、用語集の記述、生成AIの説明を横に並べ、一致した欄に印を付けます。食い違った欄は、先生や資料集の解説で確かめるまで保留にします。

この手順で残るのは、教科書と用語集で裏が取れた部分だけです。裏の取れない説明は、たとえ文章が整っていても、レポートや小論文には書きません。調べた範囲と書かなかった範囲を分けておくと、後で見直したときに判断をやり直せます。

保護者が見るところ

保護者の方が見るのは、説明の内容そのものより、お子さんがどこを確かめたかです。生成AIの説明をそのまま写したノートは、文章が整っているぶん、学習した形跡が見えにくくなります。教科書の該当箇所に線が引いてあるか、用語集の同じ項目と並べて書いてあるかを見てください。

説明に書かれた年号や書名が、教科書と食い違っていないかも一緒に見ます。食い違いを子どもが自分で見つけたなら、それは調べ方が働いた証拠です。逆に、説明のすべてが正しい前提で写されているなら、どこで確かめたのかを聞いてみてください。

家庭で決めておけるのは、生成AIの説明を下書きとして扱う約束です。下書きは、教科書と用語集で直してから提出する。この順番を決めておけば、説明の長さや自信ありげな調子に引っぱられにくくなります。

ノートを見るときは、説明の文章がそのまま写されているか、自分の言葉で短くまとめ直されているかも見どころです。写しただけの箇所は、自分の言葉に直す手間が省かれたままになっています。説明を読んでから教科書に戻り、教科書の言葉で 2 行にまとめ直した跡があれば、調べ方が身についています。

学校の課題では、生成AIの利用をどこまで認めるかが授業や先生によって違います。提出前に、課題の指示と学校の決まりを確認してください。家庭の約束と学校の規則が食い違うときは、学校の規則を優先します。

週末に一つだけ人物を選び、教科書の一行と生成AIの説明を並べてみてください。説明を広げる前に、用語集で裏づけられる記述へ印を付けます。教科書の一行を軸にするか、生成AIの説明を広げるかで、確かめる範囲と残る知識は変わります。

よくある質問

生成AIが珍しい人物について書いた説明の、どこを見れば誤りに気づけますか。

年号、国名、著作名、師弟関係の 4 つを先に照らします。この 4 つは教科書や用語集で短く確かめられ、生成AIが記憶から補いやすい部分でもあります。説明の中で最も具体的な数字や書名ほど、誤りが混じっても読み飛ばされやすいので、先に疑ってかかります。1 つでも一致しない箇所があれば、その段落は保留にしてください。

検索機能つきの生成AIなら、珍しい人物も安心して聞けますか。

検索して資料を渡す方式では、正確さが上がったという研究があります（Liu ほか 2025）。ただし、その研究が調べたのは専用の仕組みの性能です。答えと一緒に示された資料を自分で開き、そこに書かれた内容と説明が合っているかを確かめられる場合だけ、検索つきを安心材料にできます。資料の題名だけが示され、中身を開けない場合は、確かめたうちに入りません。

教科書に一行しか出ない人物は、生成AIで調べないほうがよいですか。

調べること自体は役に立ちます。手がかりが少ない人物ほど、説明のどこが補われた部分かを見分ける作業が要ります。教科書の一行を先に書き、生成AIの説明はその行の答え合わせに使う順番なら、補われた部分が目に入りやすくなります。説明を読む前に自分が知っていることを 1 行書いておくと、違いにも気づきやすくなります。

日本語の資料が少ない人物は、どう調べればよいですか。

日本語の百科事典や用語集の項目を先に集め、その範囲で説明させます。外国語の資料を使う場合も、生成AIには渡した文の範囲で説明させ、人名や書名は原語の表記と照らします。翻訳の過程で意味がずれることがあるため、説明の文章ごと写すのではなく、必要な語だけを拾う使い方が向いています。資料が見つからない項目は、空欄のまま残しておきます。

この記事の限界

情報の少ない題材に関する研究の多くが、正答率や候補に正解が入る割合を測ったもので、読者が説明を理解できたかや、後で覚えていたかは別の研究の領分です。Wang ほか（2026）は限られた種類の病気を扱い、Chandra ほか（2026）の抄録には正答率の数値が示されていません。

対象は中国語や英語の医学の課題と、英語の事実の問いが中心で、日本の中高生が日本語で歴史上の人物を調べる場面や、教科書に一行しか出ない人物の説明の正確さを調べた研究は見つかりませんでした。Mallen ほか（2023）と Sun ほか（2024）が調べたモデルは現在のものとは世代が違い、今のモデルで同じ数字になるかは、改めて測られていません。人物について提出する説明は、授業で求められる範囲に絞り、確認できた資料に基づいて書きます。

参考文献

1. Mallen A ほか. When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2023:9802-9822.
2. Sun K ほか. Head-to-Tail: How Knowledgeable are Large Language Models (LLMs)? A.K.A. Will LLMs Replace Knowledge Graphs? Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers). 2024:311-325.
3. Wang J ほか. Stepwise Diagnostic Evaluation of Chinese Large Language Models: Comparative Study of Common and Rare Diseases. J Med Internet Res. 2026;28:e89963.
4. Yu H ほか. Performance of Large Language Models in Diagnosing Rare Hematologic Diseases and the Impact of Their Diagnostic Outputs on Physicians: Combined Retrospective and Prospective Study. J Med Internet Res. 2025;27:e77334.
5. Liu S ほか. Improving large language model applications in biomedicine with retrieval-augmented generation: a systematic review, meta-analysis, and clinical development guidelines. J Am Med Inform Assoc. 2025;32(4):605-615.
6. Chandra T ほか. Improving access to rare-disease knowledge: A retrieval-augmented question answering framework for Wilson’s disease. Comput Biol Med. 2026;216:111947.

よくある質問