京都の史跡を生成AIで下調べすると実在しない場所や年代の誤りが混じるのか｜地域の知識の偏りの研究

週末、修学旅行の下調べに向けて地図とメモを広げると、生成AIが並べた見学候補を順に書き込みたくなります。「京都の歴史について」聞いた答えで、名前の横に由来や年代までそろっていれば、あとは訪ねる順番を決めるだけに見えます。ところが、Moayeri（2024）は、国別の統計を答えるモデルについて「誤った統計を示しながら世界銀行そのものを引用する」と報告しています（日本語訳）。出典の名前が添えてあることと、その出典が答えを裏づけることは別なのです。

京都の史跡を生成AIで下調べすると実在しない場所や年代の誤りが混じるのか｜地域の知識の偏りの研究

週末、修学旅行の下調べに向けて地図とメモを広げると、生成AIが並べた見学候補を順に書き込みたくなります。「京都の歴史について」聞いた答えで、名前の横に由来や年代までそろっていれば、あとは訪ねる順番を決めるだけに見えます。ところが、Moayeri（2024）は、国別の統計を答えるモデルについて「誤った統計を示しながら世界銀行そのものを引用する」と報告しています（日本語訳）。出典の名前が添えてあることと、その出典が答えを裏づけることは別なのです。

修学旅行の準備でも気になるのは、生成AIが挙げた場所が実在するか、年代が正しいか、予定どおりに回れるかという点です。地理の知識の誤りと旅行計画の条件の取りこぼしは研究で報告されており、史跡の情報と順路は分けて点検するのがよい使い方です。京都の個々の史跡にどれほど誤りが混じるかという直接の測定と、国の統計や米国内の旅程の評価は区別して読みます。以下では、地名が詳しく書かれること、事実が正しいこと、実行できる日程になることを、それぞれ別の研究と照らして考えます。

要点

• 地域の知識には偏りがあり、出典を挙げた答えにも誤りが報告されています。
• 旅行の勧めの具体性と、地名や年代の正確さは別の評価項目です。
• 史跡の由来は寺社や自治体の案内、歴史の流れは教科書や資料集と照らします。
• 見学の順路は地図と時刻表で組み、保護者は子どもが判断に使った資料を見ます。

京都の歴史について調べるとき、地域の偏りをどう読むか

平安京に都が置かれて以来の長い歴史を持つ京都では、下調べの焦点を訪問先の由来に置くか、時代の流れに置くかで、読む資料が変わります。生成AIの土台になる大規模言語モデルは、大量の文章から次に続く語を予測するよう学習した仕組みです。ChatGPTなどが土地について答える際にも、その土地に関する知識がどの程度正確かが問題になります。詳しく答えた場所だけを選んでいくと、最初に立てた学習の目的より、答えの豊富さが見学先を決める基準になってしまいます。

Moayeri（2024）は、世界銀行の国別統計を対象に、GPT-4・Gemini・Llama-2など20のモデルの答えを調べました。人口など11の指標を使った評価では、サハラ以南アフリカの国の誤り率が北米の国の1.5倍でした。同じ種類の問いでも、どの地域を尋ねるかで成績がそろわなかったという結果です。冒頭の引用で触れた出典の問題も、この国別統計の評価の中で扱われています。

この結果から下調べの手順へ引き出せるのは、場所ごとに根拠を開くという考え方です。ある地域について答えが当たったことを、次の地域についても正しいという根拠にはしません。確認用のメモには、AIが書いた名称だけでなく、自分で読んだ資料の名称と該当箇所を残します。後で食い違いが出たとき、答えのどの部分を採用したかまで戻れるようにするためです。

地名が豊富な勧めと、正しい説明を分けて読む

Bhagat（2025）が対象にしたのは、国ごとに生成させた旅行の勧めと物語です。貧しい国への旅行の勧めは豊かな国へのものより似かより、具体的な地名が少ないという傾向がありました。ここで評価されたのは具体性や独自性であり、地名の実在性を数えた結果ではありません。日本は豊かな国の側に位置するため、この結果を京都の説明の乏しさや、日本国内の地域差の証拠に置き換えることもできません。

Manvi（2024）は、場所ごとの客観的な値と主観的な評価を扱いました。人口密度などの値では、AIの評価と実際のデータの順位の並びがよく対応した一方、魅力や道徳などの主観的な評価では、社会経済的に恵まれない地域を低く見る偏りがありました。値を推測する課題と、土地に価値判断を加える課題で、結果の意味が違います。研究を読むときの区別は、次のように並べられます。

見学の目的を先に書く

週末のメモには、候補を増やす前に、現地で何を見たいかを自分の言葉で書いておきます。建物の由来を知りたいのか、場所と時代の関係を追いたいのかによって、必要な説明の種類を選べます。AIの推薦理由に「魅力的」「重要」といった評価が多ければ、それを見学の目的に結びつく具体的な観察項目へ直します。目的に合う情報が載っている資料から候補を選ぶと、形容詞の多さに選択を任せずに済みます。

地理を扱う力もあり、誤りを減らす研究も進んでいる

生成AIが地理の知識をまったく持たず、地名だけを並べていると捉えるのも正確ではありません。Gurnee（2024）はLlama-2の内部を調べ、場所や年代に関する情報を、規則性のある形で取り出せることを示しました。対象には世界・米国・ニューヨークの場所や、歴史上の人物・作品・ニュース見出しの年代が含まれています。これはモデルの内部で情報がどう表されるかを調べた研究であり、利用者に返る説明文の採点とは測定の段階が違います。

Bhandari（2023）は、都市の緯度経度、位置関係を表す言葉、都市間の距離から配置を組み立てる課題で地理の知識を調べました。大きいだけでなく、より洗練されたモデルが、文章から地理の知識を組み立てる力を示しました。場所の名前を覚えているかという問いを越えて、複数の情報の関係を扱う能力に目を向けた評価です。下調べでも、地域を分類したり関連する項目を並べたりする補助と、個々の史跡の事実を決定する役を分けて考える理由になります。

Wang（2025）が地理の知識を評価したところ、調べたどのモデルにも誤りがありました。一方で、正しい事実と答えを整合させる追加学習によって、研究用の評価課題で成績を改善できました。これはモデルを学習し直す方法の成果で、利用者が「正確に答えて」と書く方法の成果ではありません。使う際には、手元の資料から見出しや確認項目を整理する役をAIに渡し、根拠の内容と一致しているかを人が読む、という分担にします。

史跡が実在しても、見学計画が成り立つとは限らない

Xie（2024）のTravelPlannerは、米国内の旅行の日程と予算を対象にした評価です。データを調べる道具を使える環境で、1,225件の旅行の希望と参照用の計画を用意し、言語モデルが立てた計画を評価しました。GPT-4でも、すべての条件を満たした計画の割合は0.6%でした。判定の単位は旅行計画全体なので、この値は施設名が正しい割合や、説明に含まれる年代の正答率を表していません。

この課題では、目的からそれること、調べる道具を正しく使えないこと、複数の条件を追いきれないことが失敗につながりました。旅行計画には、目的地を挙げるだけでなく、移動、滞在、利用できる時間をつなぐ作業があります。ある場所を正しく説明していても、その場所を予定に入れたことで別の条件が崩れる可能性があります。AIの説明文を読んだ後に、行程を時間の順に追い直す作業が別に要る理由です。

順路を組むときは、地図で候補の位置を見て、出発地点から目的地、最後の集合地点までをつなぎます。交通機関を使う区間は時刻表で調べ、乗り物に乗る時間に加えて、乗り場までの移動や待つ時間も予定に入れます。寺社などの見学可能な時間は、その場所の案内を読み、訪問予定日に当てはまるかを見ます。具体的な運行情報を扱う段階では、生成AIに記憶から予定を埋めさせず、交通機関の当日の案内に基づいて組みます。

予定が収まらない場合は、歩く速さを都合よく変えるより、見学の目的と照らして候補を減らします。行程を直した後は、変更した区間より後の予定も読み直します。最後の到着時刻だけを合わせるのではなく、見たいものを落ち着いて見られる滞在時間が残っているかを見るためです。

名前・所在地・年代を資料のどこで照合するか

AIの答えを使う前に、まず説明を事実の項目へ分けます。史跡の名前、所在地、由来、年代を別々に書き、どの資料のどの箇所で読んだかを隣に記します。所在地が合っていても由来まで採用するのではなく、項目ごとに印をつけます。長い紹介文を丸ごと正解か不正解かで扱うより、直す場所を見つけやすい記録になります。

名称と所在地は、寺社や自治体が示す案内で、同じ場所を指しているかを照らします。似た表記が出てきたら、名称だけを頼りに結びつけず、案内の見出しと所在地を合わせて読みます。地図上の表示と説明ページの表記が違うときには、どちらを見て候補に入れたのかをメモに残します。名称の候補をAIに追加させ続けるよりも、採用したい場所の案内を読み切る段階です。

年代については、数字だけを抜き出さず、何が起きた時点を表すのかを読みます。由来の説明に複数の時期が出る場合は、始まりを述べた部分と、その後の変化を述べた部分を分けて記録します。AIがそれらをまとめて単独の年代にしていれば、元の文章に戻して書き直します。歴史全体の流れとの位置づけは、教科書や資料集の関連する説明とつなぎ、案内文の表現を自分の判断で断定的に強めないようにします。

AIに補助を頼むなら、「この案内文から、場所の名前・所在地・年代を抜き出し、書かれていない項目は空欄にしてください」と短く依頼できます。戻った一覧は、渡した文章の該当箇所と照らして読みます。空欄は調べ足す項目として残し、AIに推測で埋めさせる材料にはしません。資料から抜き出す作業を任せた場合も、資料自体を読める状態で手元に置きます。

保護者は完成した旅程より、判断の跡を見る

保護者が週末の下調べを見るときは、行程がきれいに埋まっているかより、子どもが採用の理由を示せるかを見ます。たとえば、見学候補にした理由を、調べたいことと資料の記述の両方から説明してもらいます。AIの推薦理由をそのまま読む場合は、根拠にした資料の箇所へ戻り、何を見たいのかを短く書き添えます。歴史の知識を大人がすべて答えるより、判断と根拠のつながりを一緒に点検する形です。

点検する場所を決めておくと、詳しさや文章の巧さだけで評価せずに済みます。次の項目は、完成した計画に印をつけるための確認欄として使えます。根拠の欄にAIの回答しか残っていない項目があれば、そこから資料を読み足します。

• 名称と所在地を、同じ施設の案内で照合しています。
• 年代には、何の出来事の時点かを書き添えています。
• 移動区間には、使う交通機関と時刻表の該当箇所を残しています。
• 候補を外した理由や、資料でまだ調べる項目を残しています。

説明の根拠を探す時間が取れないときは、AIが新しく挙げた場所を増やす作業を止めます。すでに資料を読めている候補に絞り、その候補どうしのつながりを考えます。資料どうしで説明が食い違う場合も、もっとも読みやすい文を選んで終わりにせず、書かれた対象や時期を横に並べます。食い違いが残る項目を完成した説明から外すことも、下調べで取れる判断です。

よくある質問

AIが実在しない史跡名を挙げたように見えたら、どうしますか

名称と所在地を、寺社や自治体の案内で照合するところから始めます。見当たらなければ、別表記や場所の取り違えも考え、いったん見学候補から外して調べる項目として残します。AIに同じ名前の説明を増やさせる前に、最初にその名前が出た回答と自分が読んだ案内を並べて記録します。実在性の判断がつくまでは、その名前を見学先として予定表に書き込まないようにします。

出典が付いていれば、リンク先を読まなくてもよいですか

出典の名前だけで済ませず、採用する説明を支える箇所まで読みます。先に見たMoayeri（2024）の結果を踏まえると、出典らしい名前があるだけで点検を終えるのは不十分です。地名なら名称と所在地、年代ならその出来事を述べた文を探し、ページの題名だけで一致と判断しません。資料の見出しと、使った記述の位置をメモすれば、後で説明を直すときにも戻れます。

AIの案を使わず、最初から資料だけで進めてもよいですか

調べたい場所や目的がすでに決まっているなら、資料だけで進めて構いません。施設の案内から由来を読み、教科書や資料集で時代の流れを確かめ、地図と時刻表で順路を組む方法があります。整理に困ったときだけ、読んだ内容の分類をAIに手伝わせる使い方も選べます。下調べの終わりには、見学したいこと、根拠にした記述、現地で見る箇所が対応したメモを残します。

この記事の限界

適用範囲は、国別の統計、土地への評価、米国内の旅程、モデル内部の場所と年代の表現などで、日本の中高生が週末に史跡を下調べする過程や、その後の学習を追った調査ではありません。評価時のGPT-4やLlama-2などと現在利用するモデルの成績も同一視できず、検索の機能や参照する情報の扱いは、利用するサービスの最新の説明を読む対象になります。

今回集めた研究には、日本語と英語による史跡の回答の比較や、検索を加えた際の誤りの減少を測るものがなく、京都や日本の寺社の名称・所在地・創建年代を採点した調査も含まれていません。日本の史跡の名前や年代に誤りが混じる率は、研究の上ではまだ白いままの部分です。

参考文献

1. Moayeri M ほか. WorldBench: Quantifying Geographic Disparities in LLM Factual Recall. In: Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’24). 2024:1211-1228.
2. Bhagat K ほか. Richer Output for Richer Countries: Uncovering Geographical Disparities in Generated Stories and Travel Recommendations. In: Findings of the Association for Computational Linguistics: NAACL 2025. 2025:4645-4653.
3. Manvi R ほか. Large Language Models are Geographically Biased. In: Proceedings of the 41st International Conference on Machine Learning (ICML 2024). PMLR 235:34654-34669.
4. Xie J ほか. TravelPlanner: A Benchmark for Real-World Planning with Language Agents. In: Proceedings of the 41st International Conference on Machine Learning (ICML 2024). PMLR 235:54590-54613.
5. Wang S ほか. Mitigating Geospatial Knowledge Hallucination in Large Language Models: Benchmarking and Dynamic Factuality Aligning. In: Findings of the Association for Computational Linguistics: EMNLP 2025. 2025:870-888.
6. Gurnee W ほか. Language Models Represent Space and Time. In: International Conference on Learning Representations (ICLR 2024). 2024.
7. Bhandari P ほか. Are Large Language Models Geospatially Knowledgeable? In: Proceedings of the 31st ACM International Conference on Advances in Geographic Information Systems (SIGSPATIAL ’23). 2023:1-4.

よくある質問