「大衆消費社会」を生成AIに説明させると国や時代を取り違えるのか｜時代の取り違えの研究

居間で教科書と生成AIの説明を見比べていると、聞き慣れた言葉が並んでいても、どの国のいつの話なのかで手が止まることがあります。世界史の選択式課題で、Hauser（2024）が報告したGPT-4-Turboの成績は46%で、これは問題の区分を均等に扱う「均衡正解率」という評価値です。「大衆消費社会」の説明に、別の国や時代の特徴が混じっていないかという疑問です。国や時代の取り違えを疑う理由はありますが、この用語で実際に混ざるかを直接調べた研究は見つからなかったため、説明の国・年代・出来事を分けて照合するのが実用的です。

「大衆消費社会」を生成AIに説明させると国や時代を取り違えるのか｜時代の取り違えの研究

居間で教科書と生成AIの説明を見比べていると、聞き慣れた言葉が並んでいても、どの国のいつの話なのかで手が止まることがあります。世界史の選択式課題で、Hauser（2024）が報告したGPT-4-Turboの成績は46%で、これは問題の区分を均等に扱う「均衡正解率」という評価値です。「大衆消費社会」の説明に、別の国や時代の特徴が混じっていないかという疑問です。国や時代の取り違えを疑う理由はありますが、この用語で実際に混ざるかを直接調べた研究は見つからなかったため、説明の国・年代・出来事を分けて照合するのが実用的です。

大衆消費社会は、大量に生産された商品が広く人々に消費される社会を指す言葉です。意味の説明を読めたところから、教科書のどの地域・時期に当たるかを探す作業が始まります。生成AIの長い説明をそのまま覚える前に、国を指す語と、年代を示す語の組み合わせに注目します。ここでは世界史の知識を問う研究、時間関係を扱う研究、人が史料を時代に位置づける研究を順に読み、居間で開いた年表に戻れる確かめ方を考えます。

要点

• 世界史の知識の評価では、モデルの成績に地域や時代による違いがありました。
• 時期によって変わる事実の記憶と、出来事の前後関係の推論は、別々に研究されています。
• 史料を年代に位置づける学習では、目印になる出来事の知識が手がかりになりました。
• 確かめるときは、AIの説明を国・年代・目印の出来事に分け、教科書の年表と本文に照らします。

世界史の成績は、どの範囲を問うた数字か

Hauser（2024）は、新石器時代から産業革命までの世界各地を対象に、歴史の知識を問う評価課題を作りました。歴史の専門家や大学院生の研究補助者が確認・整理した情報を基にした課題です。選択肢が4つの形式で、均衡正解率はLlama-3.1-8Bの33.6%からGPT-4-Turboの46%までとなり、でたらめに選ぶ場合の25%を上回りました。歴史の知識をある程度持つ一方、専門的な理解には改善の余地が大きいという結果です。

この研究には、Gemini、OpenAIのGPT-4-Turboなど、Llama系のモデルが含まれています。成績の高いモデルでも、南北アメリカに関する成績が比較的良く、オセアニアとサハラ以南アフリカでは低くなりました。時代による違いもあり、古い時代のほうが良い成績を示しました。用語をよく知っていそうな答えが返ってきても、地域を変えた説明まで同じ水準だと考えず、地域ごとの根拠を読む理由になります。

評価の対象範囲は産業革命までで、20世紀は含まれていません。また、選択肢から答えを選ぶことと、概念を自由に説明することは、課題として異なります。選択式なら採点する答えは選んだ項目ですが、説明文では、国名・年代・例に挙げた出来事がそれぞれ点検の対象になります。この違いを押さえると、冒頭の数字を、手元の説明文の正しさを測る点数として読み替えずに済みます。

居間で読むときにも、文章全体へまとめて丸を付ける必要はありません。定義は教科書と合っていても、その後に挙げられた国の例はまだ照合していない、という読み方ができます。逆に、国名が正しく書かれていても、出来事の前後が合っているかは別に点検します。何が合い、何が未点検なのかを文ごとに残すと、説明のどこを採用するかを決めやすくなります。

「いつの事実か」と「何が先か」を分けて読む

生成AIの土台になる言語モデルは、大量の文章から言葉の続き方を学習する仕組みです。Dhingra（2022）は、役職に就いている人の名前のように、時期によって答えが変わる事実をモデルがどう扱うかを調べました。対象はChatGPTが広まる前の言語モデルで、ある時点の文書で学ぶ場合にも、幅広い時期の文書で学ぶ場合にも、時期の扱いが問題になりました。文章と日付を一緒に学習させる方法では、学んだ期間の事実の記憶などが改善しました。

ここで測っているのは、ある答えがどの時点で成り立つかという対応です。歴史の説明を読む際にも、同じ国名が続いているだけで安心せず、述べられた特徴がどの時期に属するかを読み取ります。時期を示す語が抜けた文は、前の段落と同じ時期を指すのか、別の時期へ移ったのかを区別しにくくします。ノートに写す段階では、元の説明にない年代を自分の推測で補わず、時期が書かれていないことを印で残します。

Wang（2024）は、出来事の順序、時間の計算、頻度、長さなどを扱う10のデータセットをまとめた評価課題を作りました。データセットとは、同じ条件で性能を測るために集めた問題や資料のまとまりです。GPT-4やLlama2などを調べた結果、最も成績の良いモデルでも、人の成績に大きく及びませんでした。こちらが測ったのは、一般の出来事について時間関係を推論する力です。

読む側では、日付を拾う作業の後に、前後関係を示す接続表現を見ます。「その後」「同じころ」「それ以前」がどの出来事につながるかを、矢印で示す方法があります。年代を並べると合っていても、文章中の矢印が逆向きなら、その箇所が照合の対象です。国別に行を分けておけば、途中で別の国へ話が移ったのに、同じ流れとして読んでいた箇所も探せます。

国を指定する工夫と、価値観の研究の読み方

国名を入れて質問すると、少なくとも何について答えてほしいかを明示できます。Tao（2024）は、GPT-3からGPT-4oまでのモデルの回答を各国の価値観調査と突き合わせ、英語圏とプロテスタント系ヨーロッパの国々に近い価値観を示すと報告しました。同研究で国・地域を指定する指示を与えると、GPT-4、GPT-4-turbo、GPT-4oでは、71〜81%の国・地域で価値観の一致が改善しました。調べた対象は意見や価値観であり、国別の歴史の正答率とは測定項目が異なります。

価値観は、何を望ましいと考えるか、何を重く見るかという判断に関わります。歴史の説明では、それとは別に、出来事が起こった地域や時期という事実を読む必要があります。説明の中で消費の広がりをどう評価しているかと、どの時代に位置づけているかを分けると、調べ直す資料も選びやすくなります。前者では評価の根拠を、後者では年表や歴史用語の項目をたどります。

たとえば「対象を日本に限り、国・年代・目印になる出来事を分けて説明してください」と短く頼む使い方があります。出てきた各項目の横には、教科書で照合した箇所を書き添えます。国名を指定したのに、別の国の例が出てきた場合は、その例が比較として置かれたのか、対象国の出来事として置かれたのかを読み分けます。比較の説明なら国を分けて残し、対象が曖昧な文は採用する文からいったん外します。

質問の条件は、手元の教材が扱う範囲を見て選びます。用語集で意味だけを調べたい場合と、歴史の特定の時期を説明したい場合では、必要な答えが異なります。後者なら教材の見出しにある地域や時期を添え、返答にも同じ条件が保たれているかを見ます。長い問いを作るより、対象の範囲が途中で動いていないかを追える形にすると、照合作業を始めやすくなります。

人が年代を判断するときは、目印の知識が働く

史料を、その時代の状況に置いて読むことを歴史の「文脈化」と呼びます。van Boxtel（2012）は、生徒が風刺画や歴史の文章を解釈し、年代を判断する過程を調べました。18人の生徒が組になって取り組む過程の観察と、114人の生徒を対象とする実験から、鍵となる概念や目印になる出来事の知識が、年表への位置づけを支えると報告しました。関連する知識が身につく前に手がかりを順番に見る手順を教えても、文脈化の力への上乗せは見られませんでした。

Huijgen（2019）は、生徒を対象に冷戦の出来事を文脈に置いて考える単元を作り、実験群96人と対照群73人を比べました。くじ引きで厳密に群を分ける実験とは異なる、準実験という方法です。単元を学んだ群では、対照群に比べて文脈化の力が伸び、今の感覚で過去を見る答えが減りました。この結果は、年代を知ることに加え、当時の状況を使って説明する学び方に目を向けさせます。

一方、Sendur（2021）は、英語を第二言語とする大学生の史料に基づく文章を調べました。文脈化を明示して教えた群と、そうでない群の間で、文脈化の点数に統計的に有意な差はありませんでした。有意な差とは、偶然のばらつきだけでは説明しにくいと判断された差を指します。文章の詳しい分析には指導の跡が見られたものの、採点上の群間差とは結果が異なりました。

説明を増やす前に、教科書へ戻る場面

居間でAIの説明を読み進め、知らない出来事の名前ばかり増えてきたら、いったん生成を止める場面です。目印にする出来事自体を知らなければ、年表のどこへ置くかを判断する材料が足りません。van Boxtel（2012）の結果を踏まえると、点検用の欄だけを埋めるより、その出来事と前後の関係を教科書で読む作業を優先する理由があります。まず教材の該当する見出しを開き、そこに載る出来事を照合の基準にします。

もうひとつは、説明を短くする過程で、国や時期を表す言葉を削ってしまう場面です。同じ用語が出てくるという理由で複数の段落をつなぐと、別の地域の話を同じ時間の流れに置いてしまうおそれがあります。整った要約になったときほど、残した各文の主語と時期を元の資料へ戻して読みます。国や年代を失った要約しか手元にない場合は、追加の要約を頼まず、条件のある元の文章を開き直します。

教材で答えを探す範囲がすでに決まっているなら、AIに長い説明を新しく作らせずに、その範囲を読む選択もあります。用語の定義を調べるなら用語集、出来事の並びを調べるなら年表、当時の状況を読むなら本文というように、疑問に合う箇所へ移ります。生成された説明を次々と増やすと、それぞれを照合する作業も増えます。調べたいのが国や年代だけなら、必要な記述を探して書き留めるところで区切ります。

保護者が一緒に見るときは、説明の長さや難しい語の多さを理解の目安にしないようにします。子どもが指した出来事について、年表の前後に何が載っているかを一緒に見る方法があります。場所を指せず、AIの言い回しだけを繰り返すなら、該当箇所を読み直す時間を取ります。文章を上手に言えるかの確認から、根拠の場所をたどれるかの確認へ移すと、手助けする箇所が具体的になります。

国・年代・目印の出来事を書き出して照合する

最初に、AIの返答を文ごとに区切り、国・年代・目印の出来事をノートに書き出します。国が変わったら行を分け、年代が書かれていなければ空欄にします。目印の出来事には、説明中の変化を時代に位置づけるための出来事を選びます。AIが挙げた名前はそのまま正しいものとして扱わず、次に教科書で読む候補として残します。

続いて、教科書の年表で同じ国の欄を探し、出来事の位置を照合します。年表に載っていない場合は、本文の見出しと用語集の項目をたどります。見つかった箇所の前後も読み、説明にある「その後」などの関係が合っているかを見ます。別の国の欄だけに見つかった場合は、写す先を動かす前に、その説明が国どうしの比較なのかを読み直します。

最後に、照合した記述とまだ調べている記述を分けます。合った部分には教材のページや見出しを添え、違った部分には、どの国・時期・出来事の対応を直したかを書きます。説明を残すなら、照合の済んだ材料を使って自分の文に組み直します。直した後にも、国名と時期を省きすぎて対象が曖昧になっていないかを読み返します。

保護者は、正解を先に言う役より、照合の跡が残っているかを見る役を引き受けられます。下の項目は、居間でノートと教材を開いて確かめるための確認欄です。止まった欄があれば、その欄に対応する資料を子どもと開きます。

• 国名と年代の両方が書かれた行
• 目印になる出来事を見つけた教材の箇所
• 出来事の前後関係を照合した跡
• AIの説明から採用した文と、調査を続ける文の区別

よくある質問

年代が書かれていれば、その説明を覚えてよいですか

年代が書かれていても、国や出来事との組み合わせを照合してから覚えます。数字があることで具体的に見えても、その年代が何の始まりや変化を指すかまで読む必要があります。教科書の年表で該当する国の欄を開き、説明にある出来事とその前後を探します。年表にない場合は本文の該当する見出しへ移り、見つかった記述の場所をノートに残します。

国別の比較表をAIに作らせれば、混同を防げますか

比較表は照合する箇所を並べる道具として使えます。表になっていても、各欄の内容は国ごとに教科書へ戻して読みます。とくに空いている年代の欄を見た目のために埋めると、推測が事実のように残ってしまいます。空欄は空欄のままにし、教科書の本文や用語集で、どの時期を指す説明かを読み取ってから書き足します。

保護者が歴史に詳しくなくても手伝えますか

教材のどこを根拠にしたかを一緒に探す形で手伝えます。知識をその場で言い当てるより、ノートの出来事と年表の記述を指で対応させる作業をします。見つからなければ、国が違うのか、呼び方が違うのか、教材の範囲外なのかを分けて調べます。まだ調べている箇所を消さずに残すと、次に用語集で読む項目を決められます。

この記事の限界

測定されたのは、世界史の選択式課題、価値観の一致、時間関係の推論、史料を読む学習であり、「大衆消費社会」の説明で国と時代が混ざる頻度ではありません。AIの研究で使われた版と現在利用する版は異なるため、当時の成績がそのまま続いているかは未検証です。

学習側の研究は生成AIを使わず、英語を第二言語とする大学生などを対象としており、日本史・公民の用語における取り違えや、日本の中高生の文脈化を調べた研究は見つかりませんでした。国・年代・出来事の照合を続けたとき、日本語での説明の正確さがどの程度伸び、どのくらい残るかは今後の測定課題です。

参考文献

1. Hauser J ほか. Large Language Models’ Expert-level Global History Knowledge Benchmark (HiST-LLM). Adv Neural Inf Process Syst. 2024;37:32336-32369.
2. Tao Y ほか. Cultural bias and cultural alignment of large language models. PNAS Nexus. 2024;3(9):pgae346.
3. Dhingra B ほか. Time-Aware Language Models as Temporal Knowledge Bases. Trans Assoc Comput Linguist. 2022;10:257-273.
4. Wang Y ほか. TRAM: Benchmarking Temporal Reasoning for Large Language Models. Findings of ACL. 2024:6389-6415.
5. van Boxtel C ほか. “That’s in the Time of the Romans” Knowledge and Strategies Students Use to Contextualize Historical Images and Documents. Cogn Instr. 2012;30(2):113-145.
6. Huijgen T ほか. Students’ Historical Contextualization and the Cold War. Br J Educ Stud. 2019;67(4):439-468.
7. Sendur KA ほか. Historical Contextualization in Students’ Writing. J Learn Sci. 2021;30(4-5):797-836.

よくある質問