中国史のレポートで生成AIに文献を探させると実在しない本が混じるのか｜作られた参考文献の研究

レポートの締め切りが近づき、本文は書き終えたのに参考文献の欄だけが埋まらない、という場面はよくあります。机の上には教科書と配布された資料が広がっているのに、そこに載っている書名だけでは足りず、どの本を挙げればよいかわからなくなることがあります。そんなときに生成AIへ「このテーマの参考文献を挙げて」と頼むと、著者名も出版社も年もそろったリストが数秒で返ってきます。形が整っているので、そのまま自分のレポートに貼れそうに思えますが、ここで確かめたいのは、そのリストに実在しない本や論文が混じるのか、混じるとしてどのくらいなのか、という点です。生成AIが挙げる文献は、実在しないものが一定の割合で混じり、実在しても巻・頁・年の細部がずれることが多いため、文献 1 本ずつ実在を確かめる以外に安全な使い方はありません。

中国史のレポートで生成AIに文献を探させると実在しない本が混じるのか｜作られた参考文献の研究

レポートの締め切りが近づき、本文は書き終えたのに参考文献の欄だけが埋まらない、という場面はよくあります。机の上には教科書と配布された資料が広がっているのに、そこに載っている書名だけでは足りず、どの本を挙げればよいかわからなくなることがあります。そんなときに生成AIへ「このテーマの参考文献を挙げて」と頼むと、著者名も出版社も年もそろったリストが数秒で返ってきます。形が整っているので、そのまま自分のレポートに貼れそうに思えますが、ここで確かめたいのは、そのリストに実在しない本や論文が混じるのか、混じるとしてどのくらいなのか、という点です。生成AIが挙げる文献は、実在しないものが一定の割合で混じり、実在しても巻・頁・年の細部がずれることが多いため、文献 1 本ずつ実在を確かめる以外に安全な使い方はありません。

要点

• 実在しない文献の割合は、GPT-3.5 で 47%（Bhattacharyya 2023）、GPT-3.5 で 55%・GPT-4 で 18%（Walters 2023）、GPT-3.5 で 39.6%・GPT-4 で 28.6%（Chelli 2024）、GPT-4o で 19.9% だった（Linardon 2025）。
• 実在しても巻・頁・年の誤りが多く、実在して書誌まで正確だったのは 7% だけという報告がある（Bhattacharyya 2023）。
• 人文学では、文献が実在しても書誌の細部まで正しい割合が 8.5% と低かった（Mugaanyi 2024）。
• 知られていない題材ほど作り話が増える（Linardon 2025）。
• モデルが新しくなると作り話は減り（Walters 2023）、論文を検索して答える方式では専門家並みの正確さになった（Asai 2026）。
• 確かめる単位は文献 1 本ごとで、図書館の目録と論文の検索で実在・著者・年・巻・頁を照合する。

よく言われること——「AIに聞けば文献リストはすぐそろう」

レポートの参考文献は、本文を書くのと同じくらい手間がかかります。テーマに合う本を探し、著者名と出版年を確かめ、頁まで控える作業は、慣れていないと時間ばかりかかります。そこで生成AIに「このテーマの参考文献を挙げて」と頼むと、書名・著者・出版社・年のそろったリストが返ってきます。形が整っているので、そのまま自分のレポートに貼れそうに思えます。

見た目の整い方が、かえって判断を難しくします。生成AIは文献リストの書式を大量の文章から学んでいるため、存在しない本でも、実在する本と同じ体裁で並べることができます。著者名らしい名前、それらしい出版社、自然な年号が並ぶと、一つずつ確かめようという気持ちが起きにくくなります。そして文献の実在を確かめる作業は、本文を読む作業とは別に、一件ずつ時間をかけて行う必要があります。

学校の課題でも、調べ学習の発表でも、参考文献を求められる場面は増えています。テーマそのものは教科書や授業で決まっているのに、そこから先の本をどう探すかは、自分で決めることになります。生成AIは、その最初の一歩を軽くしてくれる道具ではあります。軽くなった分を、確かめる時間に回せるかどうかがわかれ目になります。

研究で見えたこと——実在しない文献はどれくらい混じるのか

生成AIが挙げる文献の実在を確かめた研究は、医学の分野でいくつか行われています。ChatGPT（GPT-3.5）に医学の短い論文を書かせ、付いてきた参考文献を一件ずつ照合した研究では、47% が実在しない文献でした（Bhattacharyya 2023）。文献全体の 46% は実在するものの書誌に誤りがあり、実在して書誌まで正確だったのは 7% だけでした。同じ研究では、巻の誤りが 64%、頁の誤りが 64%、出版年の誤りが 60% の文献に見られました。

分野をまたぐ多くの題で、ChatGPT-3.5 と ChatGPT-4 に短い文献レビューを書かせ、文献を確かめた研究もあります（Walters 2023）。実在しない文献の割合は GPT-3.5 で 55%、GPT-4 で 18% でした。実在が確認された文献を分母にすると、巻・頁・年の実質的な誤りを含む割合は GPT-3.5 で 43%、GPT-4 で 24% でした。

医学の系統的レビューと同じ採用条件を与えて文献を挙げさせた比較では、作り話の割合が GPT-3.5 で 39.6%（55/139）、GPT-4 で 28.6%（34/119）、Bard で 91.4%（95/104）でした（Chelli 2024）。P<.001 と報告されており、モデルによる差は偶然とは考えにくい大きさです。ここでいう作り話は、題名・第一著者・年のうち二つ以上が元のレビューと違う文献を指します。

ここまでに引いた研究では、Walters 2023 の GPT-4 は 18%、Chelli 2024 の Bard は 91.4% で、作り話の割合に大きな違いがありました。この開きは、モデルの違いだけでなく、課題の作り方でも変わります。文献レビューを書かせるのか、短い論文の参考文献だけを出させるのか、元になるレビューを渡すのかで、生成AIが記憶から書名を組み立てる度合いが変わります。数字を一つの平均として覚えるより、条件つきの値として読むほうが実態に近くなります。

モデルの版と題材の知名度で、作り話の割合は変わる

同じ研究の中で、モデルの版による差がはっきり出ています。Walters 2023 では、実在しない文献の割合が GPT-3.5 の 55% から GPT-4 の 18% へ下がりました。Chelli 2024 でも GPT-3.5 の 39.6% に対して GPT-4 は 28.6% で、新しい版ほど作り話が少なくなっています。ただし GPT-4 でも 18% が実在しない計算になり、ゼロにはなっていません。

題材の知られ方も結果を動かします。GPT-4o に精神医学の文献レビューを 6 本書かせた研究では、挙げられた 176 件のうち 35 件（19.9%）が実在しませんでした（Linardon 2025）。病気ごとに見ると、むちゃ食い障害で 17/60（28%）、醜形恐怖症で 14/48（29%）だったのに対し、うつ病では 4/68（6%）でした。世間でよく知られた題材ほど作り話が少なく、専門的で目に触れにくい題材ほど多いという形になっています。

この違いは、中国史のような少し専門的な題材を扱うときに効いてきます。教科書に載っている有名な事件や人物よりも、授業で一度だけ触れた制度や、地域史の細かい主題のほうが、生成AIにとっては情報の薄い題材になります。情報が薄いほど、それらしい書名を組み立てる余地が大きくなります。Asai 2026 が示した GPT-4o の 78〜90% という数値は課題も数え方も違うため、上の割合とそのまま並べて比べることはできません。

実在しても、巻・頁・年・識別番号がずれる

文献が実在するかどうかと、書誌が正確かどうかは別の問題です。自然科学と人文学でそれぞれ複数の題の論文の序論を書かせ、文献を一件ずつ確かめた研究では、実在した割合は自然科学 72.7%（40 件）、人文学 76.6%（36 件）で、分野による差は有意ではありませんでした（Mugaanyi 2024、P=.42）。実在した割合では人文学がやや高いものの、件数では自然科学のほうが多くなっています。

ところが、書誌の細部まで正しかった割合は分野で大きく違いました。自然科学では 32.7%（18/55）、人文学では 8.5%（4/47）でした（Mugaanyi 2024）。文献の識別番号が付いていた割合も、自然科学 70.9%（39/55）に対して人文学 38.3%（18/47）でした。人文学の文献は実在していても、どこをどう探せばよいかを示す情報が欠けやすいということになります。

頁や年のずれは、読む人にとっては小さな違いに見えるかもしれません。しかしレポートでは、引用した頁が違えば、その記述が本当にその頁にあるかを確かめられません。Bhattacharyya 2023 の 64% という巻・頁の誤り率は、文献リストが実在するかどうかとは別に、一件ずつの照合が必要になることを示しています。

検索して答える仕組みは、作り話を減らせる

生成AIが文献を作ってしまう原因の一つは、記憶だけを頼りに書名を組み立てることにあります。そこで、大量の公開論文から関係する箇所を検索し、その記述を根拠に答えを組み立てる専用のモデルを作った研究があります（Asai 2026）。検索なしの GPT-4o は文献の 78〜90% で作り話をしたのに対し、この検索つきのモデルは文献の正確さが専門家並みになりました。

専門家による評価でも、検索つきモデルの答えは、専門家が書いた答えより好まれることがありました。小さい構成のモデルで 51%、GPT-4o を使った構成で 70% が専門家の答えより選ばれ、検索なしの GPT-4o では 32% でした（Asai 2026）。検索の仕組みを組み込むことで、文献の実在と細部の正確さが大きく変わることを示しています。

ただし、これは研究用に作られた専用の仕組みです。一般向けのチャットに付いている検索機能で歴史の文献を探したときに同じ精度になるかを調べた査読つきの研究は見つかりませんでした。利用者側から見ると、検索つきの答えでも実在しない文献がゼロになるとは限らないため、確かめる作業は残ります。

検索つきの方式が向いているのは、答えを本文の記述に結びつける必要がある場面です。どの文献のどの箇所を根拠にしたかを示せるため、確かめる側も照合しやすくなります。一方、利用者が書名だけを聞いて返事を受け取る使い方では、検索が働いたかどうかを外から見分けられません。返ってきた答えがどの資料に基づくかを示しているかどうかを、受け取る側が見る必要があります。

中国史の大学レポートで、文献リストをどう確かめるか

確かめる単位は、リスト全体ではなく文献 1 本ごとです。生成AIの答えは候補として受け取り、採用するかどうかを自分で決める形にします。最初に、返ってきたリストをレポートの参考文献欄へ直接貼らず、別の用紙か別のファイルに写します。ここで一度手を離すと、整った体裁に引っ張られずに中身を見られます。

照合する項目は、書名・著者名・出版年・巻・号・頁・識別番号です。中国史のレポートでは、同じ人物を扱った似た書名の本が複数あるため、著者名まで一致するかを確かめます。論文は題名だけで探すと別の論文が先に出ることがあるので、著者名と年を組み合わせて探します。

最後に、引用したい一文がその頁にあるかを本文で確認します。ここまで確かめて初めて、その文献は引用として使えます。どの手段でも実在を確かめられなかった文献はリストから外し、確認の途中で見つかった別の文献に置き換えます。大学のレポートでは引用の形式や参考文献の書き方が授業ごとに指定されるため、最後は指定の形式に自分で整えます。

照合の結果は、文献ごとに短く記録しておきます。書名・著者・年・頁と、確かめた手段、確かめた日を一行ずつ残すだけでも、後から引用を直すときに助かります。同じ文献を別のレポートで使うときにも、最初から探し直さずに済みます。記録が残っていれば、先生から尋ねられたときにも、どのように確かめたかを説明できます。

保護者が見るところ

保護者は文献の内容をすべて判定するより、本人が確認した記録を見ながら、次の点を一緒に点検します。確認していない候補は、提出する参考文献と分けておきます。

• 書名・著者・年を、目録や論文の検索結果と照合した記録があるか。
• 引用する頁を本人が開き、その記述を本文で確認したか。
• 実在を確認できなかった候補を外し、授業指定の引用形式に整えたか。

生成AIに文献を探させないほうがよい場面

締切が近く、確かめる時間が残っていないときは、生成AIに文献リストを作らせないほうが安全です。実在しない文献を参考文献欄に並べたレポートは、教員が目録で照合すれば見つかります。見つかったときに失うのは点数の一部ではなく、そのレポート全体の信頼です。

本文を読まずに引用する使い方も避けたほうがよい場面です。書名と著者名が正しくても、その本に書かれていない内容を「〜と述べている」と書けば、引用の誤りになります。生成AIは文献の内容そのものも、要約の形でそれらしく作ることがあります。引用する以上は、その頁を開いて自分の目で確かめる必要があります。

教員が指定した文献が配られている授業では、生成AIのリストを足す必要はありません。その文献を読み、そこから引用されている文献をたどるほうが、テーマに合った資料にたどり着きやすくなります。目録や論文の検索で見つけた文献も、本文を読み、実際に参照した版の著者・年・頁を確かめてから参考文献欄に記します。

共同でレポートを書く場合は、文献の確認を一人に任せないほうが安全です。担当を分けても、参考文献欄だけは全員で一度目を通すと、実在しない文献が混じったまま提出されるのを防げます。生成AIのリストを共有するときは、候補であることをはっきり書いておくと、他の人が確かめずに引用するのを避けられます。

よくある質問

生成AIに「実在する文献だけ挙げて」と頼めば、作り話は消えますか

消えません。Linardon 2025 では、GPT-4o に精神医学の文献レビューを書かせても、176 件のうち 35 件（19.9%）が実在しない文献でした。ここで引いた研究には、実在しない文献がゼロになったという報告はありません。減ったかどうかは、結局ひとつずつ照合して確かめることになります。

中国史の日本語の本でも、同じくらい作り話が混じりますか

中国史や日本語の本を対象にした研究は見つかっていません。ここで引いた研究の題材は、医学の論文、精神医学の文献レビュー、自然科学と人文学の英語の論文です。人文学を扱った Mugaanyi 2024 でも、扱った題に歴史が含まれるかは抄録からわかりません。日本語の本について同じ割合になるかを示すデータは、ここで引いた研究にはありません。

文献の情報はどこまで確かめれば、レポートに使えますか

少なくとも、著者名・書名・出版年・巻・頁の五点を、図書館の目録か論文の検索で照合します。本文から引用する場合は、その頁を開いて記述を確認します。照合の記録をメモに残しておくと、後から見直すときにも、先生に尋ねられたときにも役立ちます。授業の指定する引用形式に整えるところまでが、参考文献欄を埋める作業です。

この記事の限界

文献の実在と書誌の誤りを調べた研究のほとんどが医学と心理学の文献を題材にしています。中国史や東洋史の文献、日本語の本や論文を生成AIに挙げさせて調べた研究は見つからず、人文学を扱った Mugaanyi 2024 でも、扱った題に歴史が含まれるかは抄録からわかりません。

評価の中心は生成された文献一覧であり、日本の中高生や大学生がレポートを書く過程を調べた研究ではありません。使われたモデルは GPT-3.5、GPT-4、GPT-4o、Bard で発表から時間がたっており、今のモデルで同じ割合になるかは今後の検証を待つ部分です。レポートでは、提出先の授業が認める範囲でAIを使い、引用文献を指定の形式で記載します。

参考文献

1. Bhattacharyya ほか. High Rates of Fabricated and Inaccurate References in ChatGPT-Generated Medical Content. Cureus. 2023;15(5):e39238.
2. Walters ほか. Fabrication and errors in the bibliographic citations generated by ChatGPT. Sci Rep. 2023;13(1):14045.
3. Chelli ほか. Hallucination Rates and Reference Accuracy of ChatGPT and Bard for Systematic Reviews: Comparative Analysis. J Med Internet Res. 2024;26:e53164.
4. Linardon ほか. Influence of Topic Familiarity and Prompt Specificity on Citation Fabrication in Mental Health Research Using Large Language Models: Experimental Study. JMIR Ment Health. 2025;12:e80371.
5. Mugaanyi ほか. Evaluation of Large Language Model Performance and Reliability for Citations and References in Scholarly Writing: Cross-Disciplinary Study. J Med Internet Res. 2024;26:e52935.
6. Asai ほか. Synthesizing scientific literature with retrieval-augmented language models. Nature. 2026;650(8103):857-863.

よくある質問