日本史の用語を生成AIに日本語で聞くと英語より誤りが多いのか｜言語による知識の差の研究

自室の机で日本史の教科書と生成AIの答えを見比べているとき、同じ質問を英語に直せば、もっと正確な説明が返ってくるのでしょうか。「執権政治はいつ始まったか」のような問いは日本語でも読みやすく説明されますが、英語のほうが知識を引き出しやすいと聞けば、答えを採用する前に迷います。英語の回答が優れていたのは医療分野の比較であり、日本史の問いでは言語を替えるより、教科書の記述との照合を優先します。言語を替える作業には、日本の用語を別の言葉に移す作業も含まれるため、元と同じ問いになっているかを見る必要があります。

日本史の用語を生成AIに日本語で聞くと英語より誤りが多いのか｜言語による知識の差の研究

自室の机で日本史の教科書と生成AIの答えを見比べているとき、同じ質問を英語に直せば、もっと正確な説明が返ってくるのでしょうか。「執権政治はいつ始まったか」のような問いは日本語でも読みやすく説明されますが、英語のほうが知識を引き出しやすいと聞けば、答えを採用する前に迷います。英語の回答が優れていたのは医療分野の比較であり、日本史の問いでは言語を替えるより、教科書の記述との照合を優先します。言語を替える作業には、日本の用語を別の言葉に移す作業も含まれるため、元と同じ問いになっているかを見る必要があります。

たとえば、知りたいのが政治の仕組みの説明なのか、始まりとされる時期なのかで、教科書の開く場所も変わります。英語の回答が長く詳しくなっても、求めていた時期の根拠が増えたかどうかは別に点検します。以下では、日本語と英語を直接比べた研究、日本語だけで試した研究、言語をまたぐと答えがそろうかを調べた研究を読み分けます。そのうえで、翻訳を挟んだ回答を自室のノートに残す前の照合方法を考えます。

要点

• 英語の回答が優れていた医療分野の比較研究
• 日本語の試験で高い成績を示したモデルと、残る誤答
• 答えの正確さと言語間の一致の区別
• 英訳する前後の問いの意味と、教科書の記述の照合

日本語と英語を直接比べた研究で見えた差

Ando（2024）は、麻酔についての質問に対するChatGPTの英語と日本語の回答を、両言語を扱える麻酔科医8人に評価してもらいました。調べたのは、麻酔に関する英語・日本語の質問への回答です。内容の質と伝え方の質は、どちらも英語の回答のほうが高い結果でした。内容には正確さだけでなく網羅性や安全性も含まれ、文章をどのように伝えるかも評価の対象でした。

この評価で扱った「質」は、年や人物の名前が合っているかだけを数えた正答率とは異なります。短い答えが正しくても必要な説明が欠けていれば、説明全体の評価は下がりえます。逆に、読みやすさの評価が高くても、個々の事実がすべて正しいことを意味するわけではありません。研究の結果を読むときは、何を良い回答として採点したかに目を向けます。

Harigai（2025）は、日本の放射線科専門医試験の日本語原文とその翻訳をGPT-4に解かせました。対象は、日本の放射線科専門医試験の146問です。得点の中央値は日本語で70、GPT-4による英訳で89でした。中央値は、得点を小さい順に並べたときの中央の値であり、この数字をそのまま正答率の%として読むことはできません。

同じHarigai（2025）の研究では、中国語やドイツ語への翻訳で、英語への翻訳と同じ向上は見られませんでした。外国語に替えること全般が助けになったのではなく、どの言語に訳すかで結果が違っています。さらに、問いを訳してから解かせる設計なので、回答する言語の特徴に加えて翻訳の質も関係します。研究の比較対象を表に置くと、医師が回答を評価する方法と、試験問題で採点する方法の違いが見えます。

日本語で高い成績を出すことと、英語との差を測ること

Takagi（2023）は、日本の医師国家試験の254問を日本語のままGPT-3.5とGPT-4に解かせました。GPT-4の正答率はGPT-3.5を上回り、合格基準に達しました。この研究が比べたのはモデルの違いで、同じモデルの日本語と英語の違いではありません。日本語の問いに答える性能がモデルによって変わることを示す結果です。

Sato（2025）は、日本語の薬剤師国家試験を使って生成AIを評価しました。研究で取り上げたChatGPT o1、Gemini 2.0 Flash、Claude 3.5 Sonnet（new）、Perplexity Proは、正答率80%に達したと報告されています。一方で、成績の良いモデルにも10%を超える誤りが残りました。この研究も英語との直接比較ではなく、日本語で出題した場合の性能を調べています。

ここで比べたいものを取り違えると、結果の意味が変わってしまいます。モデルを替えた際の改善は、そのまま質問を英訳した際の改善にはなりません。また、別の試験を使った研究どうしの成績を並べても、問題の難しさや採点の条件がそろっていません。言語の効果を考えるには、問いの内容やモデルをそろえて、言語を替えたときの回答を比べる設計が適しています。

自室で答えを読み直す際にも、この区別は使えます。日本語の答えに疑問があって、別のサービスで英語の質問をすると、モデルと言語の両方を一緒に替えることになります。その場合、回答が良く見えた理由を英語だけに結びつけず、何を替えたかをノートに添えます。使っているサービスのモデルや利用条件は、その時点の提供元の説明を参照し、研究に出てくる名称だけで手元の環境と同じだと判断しないようにします。

言語間で答えがそろうことは、正しさとは別です

Qi（2023）は、多言語の言語モデルに同じ事実を問い、言語をまたいで回答が一致するかを調べました。ここでいう言語モデルは、多くの文章から言葉の並びを学習した仕組みです。研究では、モデルを大きくすると多くの言語で事実への正答率は上がりましたが、言語間の一貫性、つまり同じ内容に同じ答えを返す程度は上がりませんでした。対象はChatGPT以前の事前学習モデルで、回答の一致を正答率と分けて測っています。

正しい答えを出すことと、異なる言語で同じ答えを出すことは、別の性質です。日本語と英語で違う答えが返ってきたら、少なくとも照合すべき箇所が目に見える形になります。一方、同じ答えが返ってきても、それだけでは教科書と一致しているかは決まりません。同じ仕組みに言語を替えて聞くことは、独立した資料を新しく読んだこととは区別して記録します。

Lai（2023）は、ChatGPTを37言語・7種類の課題で評価し、さまざまな言語や課題で従来のモデルを下回る結果を報告しました。比較相手は、各課題のために作られた従来のモデルです。これは「日本語の答えと英語の答えのどちらが正しいか」を直接示す数値ではなく、課題に応じてモデルの性能が異なることを扱う比較です。多言語を使えることと、それぞれの課題を高い精度でこなすことを分けて読む材料になります。

Yin（2022）は、国ごとに異なる常識を英語・中国語・ヒンディー語・ペルシャ語・スワヒリ語で問う研究を行いました。その国の知識を引き出すのに、その国の言葉が最も良いとは限らないという結果でした。対象はChatGPT以前の多言語モデルで、日本語は含まれていません。日本に関する題材だから日本語が有利、海外に関する題材だから英語が有利、という予想を立てるだけでなく、実際の問いに対する回答を資料と比べる視点を与えます。

英訳した問いが、元の問いと同じかを点検します

先に見たHarigai（2025）の研究には、英訳の質を検討した部分もあります。英訳すると日本語原文より正答が減った31問の組で、専門業者の翻訳を使うと13点、GPT-4の翻訳では8点でした。これは全体の成績を取り直した数字ではなく、英訳で悪化した問題に絞った比較です。英語に替えたら良くなるという平均的な傾向の中にも、訳し方によって結果が変わる問題が含まれていました。

日本史の問いを自分で英訳するときは、まず固有の用語に印を付けます。人の名前、役職、政治の仕組み、時期を示す言葉を分けると、どの語の訳を調べる必要があるかが見えてきます。一般的な役職名に置き換えたために日本史の用語としての意味が薄れていないか、対象の国や時代が文から消えていないかも見ます。辞書や用語集で訳の対応を追えない語が残る場合は、その英訳を採点の基準にしないようにします。

質問の動詞にも注意を向けます。制度の始まりを聞く文、ある人物が役職に就いた時期を聞く文、政治上の力を持った時期を聞く文は、似ていても照らすべき記述が違います。元の問いが広ければ、先に何を知りたいかを日本語で短く書き直します。英語を流暢にするより前に、答えとして求める出来事の範囲を決めておく手順です。

AIに翻訳を手伝わせるなら、「この質問を英訳し、歴史用語に対応する語を示してください。」のように短く頼めます。返ってきた英訳と対応語を並べ、元の語がどこに移ったかを自分で追います。対応語の説明もAIの出力なので、採用するときは辞書などの記載と照らします。英訳の読み取り自体が難しく、語の抜けや意味の変化を点検する負担が大きいときは、英語での聞き直しを増やすより日本語の教科書を読むほうが作業を進めやすくなります。

執権政治はいつ始まったかを調べる際の照合手順

執権政治は、鎌倉幕府で北条氏が執権として実権を握った政治を指します。開始の年を覚えるために生成AIへ尋ねた場合は、まず手元の教科書で、その政治を説明している本文と年表の位置を探します。年だけを拾う前に、記述がどの出来事を区切りにしているかを読みます。ノートには、用語の意味と、年を結びつける出来事を別々に書くと、回答との食い違いを追いやすくなります。

次に、日本語の回答から、照合したい主張を短く抜き出します。長い説明を丸ごと正しいかどうかで判定するのではなく、人物、役職、出来事、時期の対応に分けて読みます。英語でも質問した場合は、英語の回答の同じ部分を隣に置き、単語の違いだけなのか、主張している内容が違うのかを見ます。読みやすい文章のほうを選ぶ前に、教科書のどの記述がそれを支えるかを書き添えます。

食い違いがあるときは、先に元の質問と英訳を見直します。質問で指定した対象が同じなら、次に回答の側で年や人物が入れ替わっていないか、説明の途中で別の出来事へ移っていないかを調べます。これは誤りを点検する観点であり、実際にどのくらい起きるかの割合を示すものではありません。説明の筋が追えないままAIへの質問を重ねるより、用語集の見出しと教科書の記述を行き来して、採用する説明の根拠を残します。

保護者が一緒に見る場合は、英語の答えを読めたかだけでなく、根拠と結論がつながっているかを見ます。たとえば、子どもが回答の年を示したら、その年が結びつく出来事の記述も指せるかを見ます。説明できない部分があれば、親が別のAI回答を追加するより、その用語の載るページを一緒に探します。自室の机での照合には、次の確認項目を使えます。

• 質問が求める出来事と時期の範囲
• 日本語の用語と英訳した語の対応
• 回答中の人物・役職・年の組み合わせ
• 教科書や用語集の該当箇所
• ノートに採用した説明と、採用を見送った説明の区別

英語で聞き直すより、資料に戻るほうがよい場面

用語の意味や年の対応を確定して暗記したい場面では、生成AIを最終的な採点役にしない使い方が適しています。日本語と英語で回答を増やすと、どの説明を覚えるかという新しい選択も生まれます。出典との対応を取らずに答えを採用すると、誤りをそのままノートに残すおそれがあります。宿題の下調べでも、根拠のページを添えられる説明を先に確保します。

英訳するたびに用語の意味を調べ直し、さらに返ってきた英文を訳し直すなら、作業の目的をいったん見直します。日本史の内容を覚えることが目的なら、訳文の比較に長く時間を使うより、資料の説明と自分の理解を照らすほうへ戻れます。英語表現の学習も兼ねたい場合は、歴史上の事実を確定する欄と、英語表現を試す欄を分けます。そうすると、英語として自然に直した文を、そのまま歴史の正解として扱う混同を避けやすくなります。

また、AIが言語ごとに違う説明を返したこと自体は、すぐに失敗として捨てる必要はありません。食い違った箇所は、教科書で確かめる対象を絞る材料として残せます。根拠を見つけたら、回答の長さや言い切り方ではなく、その根拠に沿ってノートを修正します。どちらの言語を採用したかより、どの記述を読んで修正したかが後で役立つ記録になります。

よくある質問

英語が苦手でも、毎回英訳して聞いたほうがよいですか

毎回英訳する手順を加えるより、意味を点検できる日本語で問いを絞る使い方が現実的です。英訳では用語の対応や質問の範囲も点検する作業が増え、英文が読めても歴史の事実が合っているかは別に照らします。英語で比較する場合は、知らない訳語を放置せず、元の日本語のどの語に当たるかを辞書や用語集で追います。

日本語と英語で同じ答えなら、正解として覚えてよいですか

同じ答えだったことだけで正解と決めず、年や人物を教科書の記述と照合します。先に見たQi（2023）の結果を読む際も、回答の一貫性と正確さは別の評価です。ノートには回答が一致したという印だけでなく、確かめた資料のページや見出しを添え、復習時に根拠へ戻れるようにします。

日本語と英語の答えが違ったら、AIに判定を頼めますか

違いの整理を頼む使い方は考えられますが、採点は教科書や用語集の記述との照合で進めます。指示は「両方の回答で、人物・時期・出来事の食い違う箇所を抜き出してください。」程度にとどめます。抜き出された箇所を原文でも読み直し、どちらを採用するかは、そこに対応する資料の説明を読んで決めます。

この記事の限界

比較の中心は医療の質問や日本の資格試験であり、日本史の用語を日本語と英語で聞き比べた研究、日本の中高生がその回答で学んだ結果を追う研究は、今回集めた範囲にはありませんでした。日本語で高い成績を示した試験も英語との直接比較ではなく、学習者の理解や長期の記憶を測ったものとは区別されます。

評価に使われたChatGPTやGPT-4などの結果は研究時点のもので、現在使うモデルにも同じ言語差が残るかは未検証です。問いの分野と訳の質が比較に関わるため、どちらの言語で聞くほうが正確かは、題材ごとに揺れる段階です。

参考文献

1. Ando K ほか. A comparative study of English and Japanese ChatGPT responses to anaesthesia-related medical questions. BJA Open. 2024;10:100296.
2. Harigai A ほか. Response accuracy of GPT-4 across languages: insights from an expert-level diagnostic radiology examination in Japan. Jpn J Radiol. 2025;43(2):319-329.
3. Qi J ほか. Cross-Lingual Consistency of Factual Knowledge in Multilingual Language Models. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. 2023:10650-10666.
4. Lai VD ほか. ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning. Findings of the Association for Computational Linguistics: EMNLP 2023. 2023:13171-13189.
5. Takagi S ほか. Performance of GPT-3.5 and GPT-4 on the Japanese Medical Licensing Examination: Comparison Study. JMIR Med Educ. 2023;9:e48002.
6. Sato H ほか. Performance Evaluation of 18 Generative AI Models (ChatGPT, Gemini, Claude, and Perplexity) in 2024 Japanese Pharmacist Licensing Examination: Comparative Study. JMIR Med Educ. 2025;11:e76925.
7. Yin D ほか. GeoMLAMA: Geo-Diverse Commonsense Probing on Multilingual Pre-Trained Language Models. Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. 2022:2039-2055.

よくある質問