名前の似た人物や宗派を生成AIに聞くと別人の話が混ざるのか｜人違いの研究

「有名さへの偏り」という言葉を、自室の机で人物名を入力するときの目印にしてみます。これはChen（2021）が検索の仕組みに見いだした「popularity bias」を日本語に訳した表現です。名前を正しく入力しても、探す側が有名な人物に引っ張られるなら、手もとの教科書とは別の人物について説明が始まるおそれがあります。字の似た名前や宗派について生成AIに聞いたときも、別人の話が混ざるのかが気になるところです。

名前の似た人物や宗派を生成AIに聞くと別人の話が混ざるのか｜人違いの研究

「有名さへの偏り」という言葉を、自室の机で人物名を入力するときの目印にしてみます。これはChen（2021）が検索の仕組みに見いだした「popularity bias」を日本語に訳した表現です。名前を正しく入力しても、探す側が有名な人物に引っ張られるなら、手もとの教科書とは別の人物について説明が始まるおそれがあります。字の似た名前や宗派について生成AIに聞いたときも、別人の話が混ざるのかが気になるところです。

関連する検索・質問応答の研究では取り違えが示されており、人物の説明は名前の一致だけで採用せず、時代・地域・所属を照合する必要があります。 自室で画面と用語集を並べれば、長い説明を読む前に、その説明が誰を指しているかに目を向けられます。人名は合っていても、活動した時代や属する集団が途中で変わっていれば、人物像をそのままノートに移すのは避けたいところです。以下では、検索で対象を選ぶ段階、文章から答えを作る段階、読む人が見落とす段階を分けて、照合する場所を考えます。

要点

• 名前の一致と、説明している人物の一致の区別
• 同名の対象を検索するときに見られた、有名な対象への偏り
• 渡された文章より、モデルが覚えた知識を優先する問題
• 似た対象を比べる学習の利点と、材料による効果の違い
• 時代・地域・所属を教科書から書き出してから質問する手順

名前が合っていても、質問の相手は決まっていません

人物名を入力すると、生成AIは経歴や関係する集団をまとめた文章を返します。その読みやすさに目を奪われると、最初に誰を選んで話しているかという問題が後回しになります。同じ名前の人物なら表記の照合だけでは区別がつかず、字の一部が似ている場合には、読み手が名前を読み流すことも考えられます。まず区別したいのは、説明の細部の誤りと、説明する対象そのものの取り違えです。

Min（2020）は、実際の検索に由来する英語の質問14,042問を収めたデータを作り、元の質問群では半分以上に曖昧さがあると報告しました。曖昧さには、どの人物・事物か、どの出来事かという指し先の問題が含まれます。これは質問の性質を調べた結果であり、生成AIが半分以上誤答したという意味ではありません。短い質問を見ただけでは、答える側が選ぶ対象と、質問者のつもりが一致しない場合があるという出発点です。

たとえば、人物について知りたいことが宗派との関係なら、その関係が載っている教科書の箇所を先に見ます。名前だけを頼りに経歴全体を求めるより、時代や地域と一緒に問うほうが、何についての回答を求めているかを明示できます。Min（2020）の研究も、曖昧な質問に対して考えられる答えを挙げ、それぞれに合う質問へ書き直す課題を提案しています。学習で取り入れるなら、質問を長く飾るよりも、相手を区別する情報を足す作業が対応します。

宗派名を調べる場合には、人名と集団名の役割も分けて読みます。ある人物が関わった集団なのか、その人物より後に成立した集団なのかで、説明する関係は変わります。ノートの見出しを人名にしたまま、途中から集団全体の歴史を書き写すと、誰の活動なのかを追いにくくなります。人物の行と集団の行を分け、両者を結ぶ説明だけを残すと、混ざりかけた箇所を探せます。

検索の段階では、有名な同名の対象に寄ることがあります

Chen（2021）が調べた対象は、同じ名前を持つ人物・事物への質問です。研究の中心は検索器、つまり質問に合う文書を探してくる仕組みでした。同名の有名な対象と比べると、知名度の低い対象への質問では誤った文書を取り出す確率が2倍でした。名前の文字列が同じでも、必要な相手についての文書を選ぶところで差が生じた結果です。

この結果を読むときは、間違った文書を選んだことと、完成した説明の中で別人の経歴が混ざったことを分けます。Chen（2021）が評価したのは前者です。根拠を検索してから文章を作る仕組みでは、入り口の文書が違えば、その後に読む説明も別の対象について組み立てられるおそれがあります。文章を整える段階だけでなく、参照した文書が意図した人物のものかを見る理由がここにあります。

関連する研究の役割を整理すると、どこで照合を挟むかが見えます。以下の表は、質問の曖昧さと文書選択の誤りを別々に載せています。問いの数と誤りの比率を、同じ成績の指標として比べない読み方が必要です。

文章を添えても、覚えた知識が入り込む問題があります

検索する相手を絞れたら、次は文章から何を答えるかという段階です。Longpre（2021）は、渡す文章の人物名を別の人物名に差し替え、質問応答モデルが文章の内容を使うか、学習の過程で覚えた知識を使うかを調べました。モデルには、目の前の文章と食い違っていても、覚えている知識を優先して答える傾向がありました。入力した文章が、そのまま回答を縛るとは限らない仕組みが示されています。

ここでいうモデルは、文章をもとに答えを出すよう学習した仕組みです。Longpre（2021）が扱ったのはChatGPTが広く使われる前の質問応答モデルで、研究は人物名の置き換えによって知識の衝突を作っています。そのため、読むべき文章に従う力を試す条件と、ふだんの人物調べとは区別して扱います。一方で、著者らは覚えた知識への頼りすぎを抑える方法も提案し、改善を報告しています。

自室での調べ物に引き寄せるなら、教科書の短い記述を添えた後も、答えの各文がその記述のどこから来たかを追います。説明が詳しくなるほど、元の記述にはない活動や人間関係が足されていくことがあります。補われた内容が気になったら、教科書に書かれた部分と追加された部分を別の欄に移します。追加された部分は、人物の見出しが一致する用語集の項目へ戻って調べます。

時代の食い違いが出た場合は、AIに説明を続けさせる前に、そこで読むのを止めます。前半の時代だけを直しても、後半の所属や活動が別人のまま残っている可能性があるためです。人物を特定する情報まで戻り、答えの冒頭と途中の主語を順に照合します。長い回答全体を正しいか誤りかで選ぶより、どの人物について述べた文なのかを追う作業に切り替えます。

読む人も、似た人物への置き換えを見落とします

人違いを見つける作業では、自分に知識があることと、読む最中にその知識を使えることを分けて考えます。Davis（2016）は、有名人の名前を使い、意味の近さや顔の似かよりが、質問に混じった人物の取り違えにどう関わるかを調べました。意味が近く、さらに顔も似ている人物への置き換えでは、誤りを見落としやすくなりました。文字で名前を提示した場合にも、人物の見た目の情報が関係した点が特徴です。

この研究が扱う「モーセの錯覚」は、質問の前提にある人違いに気づかず、そのまま答えてしまう現象です。Davis（2016）は、正しい人物の写真を先に示すと、誤りへの気づきが増える結果も報告しています。生成AIの回答を読んだ生徒の実験ではなく、人が質問を処理するときの研究です。名前を見れば知っている人物だと思えても、その知識が誤りの発見に使われるとは限らない点に、読む側の課題があります。

そこで、回答を読み終えた感想より、どの語を照合したかを記録します。人名、時代、地域、所属する集団を探し、別々に下線を引くと、文章の流れから少し離れて見る場所を決められます。活動の説明が自然につながっていても、所属だけが手もとの資料と食い違っていれば、その文を採用するのを止めます。納得した理由を「説明が詳しいから」にせず、資料の対応する記述まで示せる形にします。

保護者が一緒に見る場合も、歴史の知識をその場で言い当てる必要はありません。本人のノートと元の項目を並べ、どこを読んで時代や所属を書いたかをたどれます。見慣れた名前だから合っていると思った箇所があれば、そこを資料へ戻る入口にします。誤りを指摘する役を引き受けるより、本人が照合に使った根拠を指させるかを見ると、作業の抜けを探しやすくなります。

似た名前を並べる練習には、材料による違いがあります

人違いを防ぐため、似た人物を一覧にして覚えたいと思うこともあります。その発想に関連するのが交互学習、つまり異なる種類の例を交互に学ぶ方法です。Birnbaum（2013）は蝶と鳥の写真を材料にし、異なる種類を隣り合わせて比べられる並びが見分けの学習を助ける結果を報告しました。間に時間を挟んで隣り合わせの比較を崩すと、その利点が損なわれました。

ただし、Brunmair（2019）のメタ分析では、材料によって効果の向きが違いました。メタ分析は複数の研究結果をまとめて計算し直す方法で、全体の効果量はg = 0.42でした。効果量は差の大きさをばらつきを基準に表す数で、単語を材料にした研究ではg = -0.39となり、交互に学ぶより種類ごとにまとめて学ぶほうが有利でした。説明文についても効果は明瞭でなく、写真の分類で得られた利点を、そのまま名前の暗記へ移すのは避ける必要があります。

また、Yan（2019）は画家の作風を見分ける課題で、交互学習が役立つ理由を検討しました。似た作品を並べて違いを比べられることが利点を生む、という説明を支える証拠は得られませんでした。交互に並べた後で成績がよくなっても、違いを見せたことが原因なのかは別の問題です。比べる一覧を作る作業と、覚える練習の順番を変える作業も、目的を分けて扱います。

人物調べでは、一覧を暗記法として一律に勧めるより、食い違いを見つける道具として使えます。先に各人物の正しい項目を読み、時代と地域をそれぞれ埋めてから、混同した箇所だけを横に並べます。似ている人名を大量に増やすと、まだ調べていない人物まで学ぶ負担が増えます。自分が取り違えた関係に絞り、どの資料で区別したかを添える形なら、照合の記録として残せます。

自室で照合する順番を決めます

生成AIに聞く前に、教科書や用語集から人物の時代・地域・所属する宗派や王朝を短い行に書き出します。覚えているつもりの情報も、入力する前に元の見出しへ戻ります。名前の一部、別名、集団との関係が曖昧なら、そこを埋めるところから始めます。資料に見当たらない欄は空欄のままにし、推測で相手を決めないようにします。

質問にはその行を添え、たとえば「この時代・地域・所属に合う人物として説明してください」と頼めます。答えが出たら、まず時代が元の行と合うかを見て、その次に地域と所属を見ます。合わない項目があれば、経歴の詳しい説明へ進む前に資料を開き直します。名前の漢字を直しただけで読み終えず、活動の主体まで元の人物に戻っているかを追います。

次に、回答の中から学習に必要な関係だけを取り出します。人物と宗派の関係を調べたいなら、出身地や逸話が増えても、それを全部ノートに入れる必要はありません。教科書に戻れる関係だけを自分の文にし、参照した項目名や頁を隣に記します。後から別の説明を読んで迷ったときも、どの記述に基づいて書いたかをたどれます。

保護者と見直す際は、完成したノートの見栄えより、調べた跡を見ます。名前を写すだけでなく、対象を特定した根拠と、答えを採用した根拠を分けて見られると、途中の省略に気づけます。確認する項目は次のように置けます。

• 教科書の人物名と、入力した人物名の文字の一致
• 質問に添えた時代・地域・所属の出所
• 回答の途中で活動の主体が変わっていないかという照合
• ノートに残した関係と、資料の項目・頁との対応

元の資料を開けず、人物を区別する手掛かりも乏しい場合は、生成AIで経歴を増やす作業をいったん止めます。特に、知らない名前が次々に出て、その名前をまたAIだけで調べる状態では、最初の取り違えを残したまま情報が積み重なります。必要な項目が短くまとまっているなら、用語集から直接読むほうが照合の対象を絞れます。AIの説明を採用する範囲は、資料で人物との結びつきを追えるところまでにします。

よくある質問

出典が付いた回答なら、人物の確認は省けますか

出典が付いていても、その出典が意図した人物を扱うかは確認します。Chen（2021）の研究で問題になったのは、同名の対象から適切な文書を取り出す段階でした。出典を開いたら、引用された内容だけでなく、項目の見出し、時代、活動地域を見ます。回答中の名前が一致していても、出典の人物が違えば、その文書を経歴の裏づけとしてノートに付けるのは避けます。

似た人物を一覧にすれば、覚え間違いは減りますか

一覧を作るだけで覚え間違いが減ると判断する根拠は十分ではありません。Brunmair（2019）は、交互に学ぶ方法の効果が材料によって変わり、単語ではまとめて学ぶほうが有利な結果を報告しました。まず各人物の項目を別々に読み、何を混同したかがわかった時点で、その違いだけを一覧にします。時代と所属など、見分けに使った欄には元の資料の項目名も記します。

AIが人違いを認めて直したら、その答えを使えますか

訂正後も、最初に食い違った項目と、それにつながる活動の説明を資料と照らします。Longpre（2021）は、渡された文章とモデルが覚えた知識が衝突すると、覚えた側を答える傾向を示しました。訂正の言葉を読むだけで終えず、修正された文を項目ごとに追います。時代が直っても所属が元のままなら、まだ資料との対応が取れていない文としてノートから外します。

この記事の限界

適用範囲は、同名の対象を扱う検索、英語の質問の曖昧さ、人物名を置き換えた質問応答と、人の見分けの学習です。王重陽のような漢字の似た人物名や宗派名の混同率、中国史・日本語の固有名、日本の中高生を調べた研究は見つからなかったため、題名の問いには関連する仕組みから答えています。

質問応答の中心的な証拠はChatGPT普及前のもので、現在の対話モデルが同じ条件でどれほど人違いをするかは別途測定が必要です。人の実験には写真や絵画の分類が含まれ、参加者の国・学年や長期の保持についての記述も限られるため、人物の照合には時代と所属を併記した歴史用語集や人物事典が次に読む資料になります。

参考文献

1. Chen A ほか. Evaluating Entity Disambiguation and the Role of Popularity in Retrieval-Based NLP. Proc ACL-IJCNLP (Vol 1: Long Papers). 2021:4472-4485.
2. Min S ほか. AmbigQA: Answering Ambiguous Open-domain Questions. Proc EMNLP. 2020:5783-5797.
3. Longpre S ほか. Entity-Based Knowledge Conflicts in Question Answering. Proc EMNLP. 2021:7052-7063.
4. Davis DK ほか. Here’s looking at you: Visual similarity exacerbates the Moses illusion for semantically similar celebrities. J Exp Psychol Learn Mem Cogn. 2016;42(1):75-90.
5. Birnbaum MS ほか. Why interleaving enhances inductive learning: the roles of discrimination and retrieval. Mem Cognit. 2013;41(3):392-402.
6. Brunmair M ほか. Similarity matters: A meta-analysis of interleaved learning and its moderators. Psychol Bull. 2019;145(11):1029-1052.
7. Yan VX ほか. Interleaving Benefits the Learning of Complex Perceptual Categories: Evidence Against the Discriminative-Contrast Hypothesis. J Cogn Educ Psychol. 2019;18(1):35-51.

よくある質問