哲学者の言葉を生成AIに引用させると原文に無い一節が混じるのか｜引用の作り話の研究

図書館の閲覧席で、開いた哲学書の横に、小論文に使いたい言葉を表示した画面を置きます。生成AIが挙げた一節には著者名と書名が添えられ、書きかけの文章にもよく合って見えます。この言葉は本当にその本にあるのかという疑問は、引用符を付けて原稿に移す前に解いておきたいものです。原文に無い一節が混じる危険を考え、生成AIの引用候補は本の該当箇所と照合してから使います。 出典と文章の対応を調べた研究や、哲学者らしい文章を作る実験が、この判断の根拠になります。

哲学者の言葉を生成AIに引用させると原文に無い一節が混じるのか｜引用の作り話の研究

図書館の閲覧席で、開いた哲学書の横に、小論文に使いたい言葉を表示した画面を置きます。生成AIが挙げた一節には著者名と書名が添えられ、書きかけの文章にもよく合って見えます。この言葉は本当にその本にあるのかという疑問は、引用符を付けて原稿に移す前に解いておきたいものです。原文に無い一節が混じる危険を考え、生成AIの引用候補は本の該当箇所と照合してから使います。 出典と文章の対応を調べた研究や、哲学者らしい文章を作る実験が、この判断の根拠になります。

本が実在すること、その本が同じ話題を扱うこと、その言葉が実際に印刷されていることは、それぞれ別の確認です。検索で書名を見つけただけでは、引用符の内側の言葉まで確かめたことにはなりません。さらに翻訳書を使うなら、画面の日本語が手元の訳者の表現なのか、AIが訳した表現なのかも区別します。小論文の主張を支えるために借りた言葉が、実はAIの説明だったという取り違えを防ぐには、読みやすさより先に本文の所在を押さえる必要があります。

要点

• 引用候補の文字列と、本の該当箇所との照合
• 出典が付いていることと、出典が主張を支えることの区別
• 哲学者らしい文体と、本人が書いた言葉との区別
• 翻訳書の訳者・版・頁を含む記録
• 原文を読んで作る要約と、直接引用の使い分け

出典が付いていても、その文を支えているとは限りません

「書名や出典が添えてあれば引用として使えそうだ」と感じるときは、まず何を裏づけと呼ぶのかを分けます。直接引用は、元の文章の言葉をそのまま示す書き方です。一方、研究でいう出典による裏づけには、言葉が同一かどうかだけでなく、出典の内容が書かれた主張を支えるかという評価も含まれます。哲学者の言葉を写す作業では、文字の一致と意味の対応の両方を見ます。

Liu（2023）の対象は、Bing Chat・NeevaAI・perplexity.ai・YouChatの生成型検索の回答です。生成型検索とは、検索した情報を使って文章の形で答える仕組みです。回答文のうち、出典で完全に裏づけられた文は平均51.5%で、付けられた出典のうち対応する文を支えていたものは74.5%でした。前者は回答の文を、後者は出典を数えた割合なので、同じ意味の正答率として読み替えないようにします。

Gao（2023）の対象は、ELI5の一般向け質問に対する出典付きの回答です。大規模言語モデルは、大量の文章から次に来る語を予測するよう学習した仕組みで、ChatGPTなどの土台です。この研究では出典との対応を評価する枠組みを作り、その課題では最も良いモデルでも50%の場合に完全な出典の裏づけが欠けました。以下はどちらも、作られた回答と出典の内容を照らした結果です。

哲学者らしい文章は、本人の文章と見分けにくくなります

哲学者の独特な言い回しや話の運びを知っていると、似た文章に出会ったとき、本人の言葉だと感じやすくなります。ここで手掛かりにしているのは文体や内容の印象です。本のどこに載っているかという証拠とは、役割が違います。短い一節ほど、その前後にある説明を見ないまま、自分の知っている思想家のイメージに重ねてしまうおそれがあります。

Schwitzgebel（2024）は、哲学者ダニエル・デネットの著作でGPT-3を追加学習させました。本人に10の哲学的な質問をし、同じ質問へのモデルの回答をそれぞれ4つ集め、都合の良い回答だけを選ばずに評価しました。デネットの専門家は偶然に選ぶ水準よりは見分けられましたが、研究者の期待を大きく下回りました。哲学ブログの読者も専門家と似た成績で、一般の参加者はほぼ偶然の水準でした。

この実験で比べたのは、同じ問いに答えた本人とモデルの文章です。すでに刊行された本の一節を正確に再現する課題とは、測っているものが違います。それでも、本人らしい内容や調子が判断の決め手にならないという点は、引用候補を読むときの注意につながります。専門用語が自然につながり、自分が求める主張にぴったり合う文章ほど、引用元を探す作業を省かずに進めます。

図書館で手元の本と画面を比べる際には、読んだ印象の一致を記録の一致に置き換えます。著者の主張らしく見えるかではなく、その頁に同じ語句が並んでいるかを見ます。続いて、その段落で本人が賛成しているのか、別の立場を紹介しているのかを読みます。見覚えのある文体を見抜こうとするより、印刷された言葉と前後の議論に沿って判断する手順です。

よく知られた言葉と、あまり引かれない一節では条件が違います

有名な文章を正しく答えた経験があると、同じ著者の別の箇所も正確に引けると期待したくなります。しかし、本の一部を覚えていることと、本全体を取り出せることは違います。生成AIに長い説明を頼み、その中から引用向きの文を選ぶと、どこまでが記憶した言葉で、どこからが生成した説明なのかが見えにくくなります。引用の候補を増やすほど、読者が照らすべき箇所も増えます。

Chang（2023）は、ChatGPTとGPT-4が本をどの程度覚えているかを、本の一節にある人名を伏せて答えさせる方法で調べました。記憶している度合いは、その本の一節がネット上に出てくる頻度と結びついていました。また、記憶している本を使った後続の課題では、記憶していない本の場合より成績が良いという結果でした。この結果からは、本によって覚えている程度が異なることが読み取れます。

引用を扱う実務への示唆としては、知られている文章でうまくいった経験を、別の一節の保証にしないことが挙げられます。これは上の研究から引き出す判断であり、哲学書の引用を知名度別に採点した結果ではありません。有名だから採用し、珍しいから捨てるという選び方では、手元の文章そのものの正しさを見落とします。どちらの候補も本に戻して確かめると、知名度に頼らず同じ基準で扱えます。

あまり引かれない一節を使いたいなら、図書館の本の目次や索引から主題に関係する章を探します。AIの出した文に似た箇所を探し続けるより、先に著者がその話題をどう論じたかを読みます。必要な内容が見つかったところで、引用する言葉を選び直します。候補に引きずられて別の段落をつなぎ合わせることを避け、本の議論の順序に沿って自分の根拠を選ぶ進め方です。

人が書いた論文にも誤りがあり、数え方で割合が変わります

AIの引用が心配だから、人が書いた解説の引用ならそのまま使うという判断にも、照合の工程が要ります。Martella（2021）は、能動的学習についての有名なメタ分析が、後の研究論文でどう引用されたかを調べました。メタ分析とは、複数の研究結果をまとめて計算し直す方法です。調査された記述のうち、元の論文で裏づけられたものは47.67%、裏づけられないものは26.01%でした。書き手が研究者でも、引用元に無い主張をその文献に結びつけることがありました。

Jergas（2015）は、医学論文の引用の正確さについて28研究をまとめ、引用の誤りの全体の割合を25.4%と推定しました。一方、Mogull（2017）は、医学研究論文の引用を調べる方法を見直し、再計算した誤りの割合を14.5%と報告しました。後者では、不適切な間接引用を引用の正確さとは分けて計算しています。間接引用とは、元の資料を直接読む代わりに、その資料を紹介した別の文章を通じて引くことです。

これらの研究の対象は研究者が書いた論文で、学生の引用ではありません。また、医学論文の数字と生成型検索の数字を横に置くだけでは、AIと人の優劣を比べる試験にはなりません。同じ資料と主張を同じ基準で採点した比較ではなく、誤りをどう定義し、何を数えるかも異なるためです。研究の数字を使う側も、引用元を読んで、どの割合だったかを保つ必要があります。

小論文の準備では、解説書に載った引用を見つけたら、その解説書の著者の説明と、紹介されている哲学者の言葉を分けてメモします。原典の場所が記されていれば、その本の該当箇所を開きます。解説書だけを読んだ段階では、原典を自分で読んだような出典表記にしません。これはAIの利用の有無にかかわらず、手元で実際に読んだものと原稿の記載を対応させる作業です。

原文、翻訳書の言葉、自分の要約を分けて記録します

図書館で引用候補を照合するときは、まず実際に読む本の著者・書名・訳者・版を記録します。画面に出た頁だけを控えると、別の版を開いたときに探す場所がずれることがあります。手元の本で該当箇所を見つけてから、その本の頁を記録します。訳書を使う場合は、外国語の原文から直接写した言葉ではなく、誰の訳文を使ったかがたどれる記録にします。

次に、使う予定の文を本から写し、AIの回答とは別の欄に置きます。助詞や否定の語、句読点、引用の始まりと終わりを本と見比べます。一部を省くなら、省いた箇所によって条件や反対意見が落ちないかを前後の段落まで読みます。著者が他人の主張を引いている箇所を、著者自身の結論として使わないことも、この段階で確かめます。

AIが出した日本語に対応する外国語の文が見つかっても、手元の翻訳書と語句が違うなら、その訳書から写した引用にはしません。訳書を引用するなら、そこに載る表現を採用します。原文を自分で訳して使う場合は、自分の訳であることを示し、原文の場所を残します。既存の訳文と自分で訳した文を途中で混ぜ、ひと続きの翻訳書の言葉として扱うことを避けます。

直接引用が必要でなければ、読んだ箇所の内容を自分の言葉で要約し、参照した本と頁を添えます。要約に変えるときも、AIの候補から引用符を外すだけでは足りません。原文を読んで何が述べられているかをつかみ、自分が説明したい内容に必要な範囲を選びます。該当箇所が見つからない候補は採用を保留し、すでに読めた別の箇所から要約を作るか、自分の考えとして論を組み立てます。

生成AIを使う工程を決め、保護者は本との対応を見ます

引用の文言を確定する工程では、生成AIに続きを補わせず、本を見ながら作業します。欲しい主張に合う言葉を出させてから出典を探すと、書きたい結論に合わせて著者の言葉を選ぶ順序になります。先に読んだ箇所が自分の主張を支えるかを考え、支えないなら主張か資料の選び方を見直します。引用が見つからないときに、もっと似た言葉を作らせて穴を埋める使い方は避けます。

AIを使うなら、自分が読んだ短い箇所について、どの語の意味を辞書で調べるか、前後のどこを読むかを考える補助にとどめます。たとえば「この箇所を読むために、意味を調べる語を挙げてください」という短い指示が考えられます。回答で挙がった語は本の中での使われ方に戻して読み、引用文そのものは手元の本から写します。こうすると、読むための助けを求める工程と、著者の言葉を確定する工程がわかれます。

保護者が一緒に原稿を見る際は、哲学の解釈を採点するより、引用元をたどれるかを見ます。引用した文を本のどこで読んだか示してもらい、本人の説明と引用部分の境目を確かめます。画面の回答だけが残っている場合には、書名を探した段階なのか、本文まで読んだ段階なのかを整理します。次の項目を原稿と本の照合用に使うと、確認する場所が具体的になります。

• 手元の本と記録した著者・書名・訳者・版の一致
• 引用箇所の頁と、写した文の始まり・終わりの一致
• 否定や条件を含む前後の段落の読み取り
• 著者自身の主張と、著者が紹介した他人の主張の区別
• 直接引用と、自分の要約・意見の区別

よくある質問

書名と頁まで出たら、そのまま引用してよいですか

書名と頁が出ても、その本を開いて文言と文脈を照合してから使います。本の所在を示す情報と、その場所に引用候補が載っていることは別です。Liu（2023）の研究でも、出典が付くことと、その出典が対応する文を支えることにはずれがありました。手元の本の版と訳者を記録し、該当箇所の文字列に加えて、その前後で誰の主張として述べられているかまで読みます。

原文に同じ言葉が見つからなければ、要約として使えますか

AIの文から引用符を外すだけでは、自分で作った要約にはなりません。要約に使う内容が原文にあるかを読み、要点を自分の言葉で書き直します。趣旨の近い箇所を読めた場合は、その箇所を参照元として残し、AIが示した未読の頁を引き継がないようにします。内容を支える箇所にたどり着けない文は保留し、読めた資料に基づく説明で原稿を進めます。

保護者が哲学書に詳しくなくても確かめられますか

本と原稿の言葉が対応しているか、引用と本人の説明がわかれているかは、一緒に点検できます。難しい語の解釈で迷ったら、その語を囲んだままにして、辞書や解説を読む作業として残します。子どもが自分で読んだ頁を開き、引用の前後を含めて示せるかを見ます。保護者の言葉で哲学の説明を作り直すより、原稿から本へ戻れる記録を整える支え方です。

この記事の限界

対象は英語の生成型検索、哲学者の回答の識別、本の記憶、研究者の論文での引用であり、日本の中高生が日本語の小論文を書く過程を継続して追った調査ではありません。集めた根拠の範囲では、生成AIが思想家の言葉を引用する際に原文に無い一節や別人の言葉を混ぜる率、日本語訳の引用の正確さ、学生の引用の誤りを直接調べた研究は見つからなかったと整理しています。

GPT-3を追加学習させた実験や当時の検索サービスで生じた結果が、現在使うモデルでも同じ程度に現れるかは未検証です。個々の引用候補の採否を決める資料は、引用元の著作と、使用する翻訳書の該当頁です。

参考文献

1. Liu NF ほか. Evaluating Verifiability in Generative Search Engines. Findings of EMNLP. 2023:7001-7025.
2. Gao T ほか. Enabling Large Language Models to Generate Text with Citations. Proc EMNLP. 2023:6465-6488.
3. Schwitzgebel E ほか. Creating a large language model of a philosopher. Mind Lang. 2024;39(2):237-259.
4. Chang KK ほか. Speak, Memory: An Archaeology of Books Known to ChatGPT/GPT-4. Proc EMNLP. 2023:7312-7327.
5. Martella AM ほか. Quotation Accuracy Matters: An Examination of How an Influential Meta-Analysis on Active Learning Has Been Cited. Rev Educ Res. 2021;91(2):272-308.
6. Jergas H ほか. Quotation accuracy in medical journal articles-a systematic review and meta-analysis. PeerJ. 2015;3:e1364.
7. Mogull SA. Accuracy of cited “facts” in medical research articles: A review of study methodology and recalculation of quotation error rate. PLoS One. 2017;12(9):e0184727.

よくある質問