教科書の写真や史料の画像を生成AIに読ませると写っていないことを答えるのか｜画像を読むAIの研究

夕食後、教科書の写真に端末を向けると、細かな文字よりも周囲の説明文のほうがはっきり写ることがあります。ワカタケル大王と大和政権の宿題で写真を渡した生成AIの返答が詳しいほど、写っていない部分まで読めたのか気になります。Nakao（2024）が日本の医師国家試験でGPT-4Vを調べたところ、画像ありの正答率は68%、画像なしは72%で、画像を加えることによる有意な改善はありませんでした。写真を添えたというだけでは、答えの根拠が画像になったとは判断しにくい結果です。

教科書の写真や史料の画像を生成AIに読ませると写っていないことを答えるのか｜画像を読むAIの研究

夕食後、教科書の写真に端末を向けると、細かな文字よりも周囲の説明文のほうがはっきり写ることがあります。ワカタケル大王と大和政権の宿題で写真を渡した生成AIの返答が詳しいほど、写っていない部分まで読めたのか気になります。Nakao（2024）が日本の医師国家試験でGPT-4Vを調べたところ、画像ありの正答率は68%、画像なしは72%で、画像を加えることによる有意な改善はありませんでした。写真を添えたというだけでは、答えの根拠が画像になったとは判断しにくい結果です。

画像を読む生成AIは、写っていない物を答えに加えることがあり、写真の読み取りと知識による説明を分けて扱う必要があります。 一方で、英語の手書き文書をかなり正確に書き起こした研究もあり、画像の利用をまとめて無意味とするのも早計です。宿題で困るのは、見える形、読めた文字、その史料から考える意味が、返答では区別されずにつながることです。夕食後の見直しでは、AIの説明の長さより、教科書のどの写真や説明文に対応するかを追うと、採用する部分を選びやすくなります。

要点

• 写っていない物を、場面にありそうだという手がかりから答えに加える誤りがあります。
• 試験で正解する力と、画像を使って正解する力は別々に調べる必要があります。
• 手書き文字の読み取りは、言語や文書の種類、比較する専用ソフトによって結果が変わります。
• 先に自分の観察を残し、AIの答えを教科書の本文と図版の説明文に照らします。

ワカタケル大王と大和政権の写真で、何を読ませたいか

この題材で扱う大王の名は教科書に登場し、政権との関係を史料から考える手がかりになります。写真の形を観察すること、刻まれた文字を写すこと、その文字が歴史の説明にどう結びつくかを考えることでは、確かめる相手が違います。形なら元の写真、文字なら教科書に載る読みや図版の説明文、歴史的な意味なら本文の記述と照合します。画像を送ってまとめて説明させると、この区別をつける作業が返答を受け取った後に残ります。

画像と言葉を合わせて扱う仕組みは、視覚言語モデルと呼ばれます。大量の文章を学んで文を作る大規模言語モデルに、画像の情報も扱わせるものです。写真に何があるかを短く記述する依頼にも、写真について学習済みの知識を使って答える依頼にも応じます。そのため、正しい歴史の説明が返ってきても、写真の細部を正しく読み取った証拠になるとは限りません。

たとえば、写真の横に付いた見出しを手がかりに、本文で習う内容を説明することはありえます。その説明が教科書と合っていても、写真内の小さな線や文字が読めているかは別に点検します。逆に、文字の形を正確に写せても、史料の意味を説明する段階で別の知識が混じる可能性があります。答え全体に正解の印を付ける前に、観察、書き起こし、解釈のどこを頼んだのかをノートに残します。

写真にない物が、説明の中に現れる理由

Li（2023）は、日常の写真を対象に、画像を読む大規模言語モデルが写っていない物を答える現象を調べました。この現象は物体の幻覚と呼ばれ、実際には画像にない物を、あるものとして説明する誤りを指します。調べた代表的なモデルの多くで深刻な誤りが見られ、学習時の指示によく現れる物や、写っている物と一緒に現れやすい物が答えに入りやすいと報告されました。著者らは、ある物が写っているかを肯定か否定で答えさせる評価方法も提案しています。

この問題は、対話型の生成AIになって突然生まれたものではありません。Rohrbach（2018）は、日常の写真のデータを使い、画像に説明文を付ける、ChatGPT以前のモデルを調べました。文章の出来を測る標準的な指標で高い点を取るモデルでも、写っていない物を書く誤りが少ないとは限りませんでした。誤りの多いモデルでは、画像そのものよりも、言葉のつながりから予想される内容に引きずられる傾向がありました。

ここで分けたいのは、説明として自然な文と、写真に裏づけられた文です。前者には背景知識を添えて読みやすくする働きがあり、後者には画面のどこを見ればよいかという対応が求められます。写真を見ながら答えの名詞を拾い、それぞれが指す場所を探すと、文の自然さとは違う観点で点検できます。場所を指せない名詞は、その場で観察の記録に移さず、説明文に出てくる知識なのかを調べる欄へ回します。

画像に合わせて答えを変えられるかを測る

Guan（2024）は、図表・地図・写真など346枚と1129問を用いたHallusionBenchという評価問題集で、画像と言葉に関わる誤りを調べました。元の画像と手を加えた画像などに対応する、対になった問いを両方正しく答えた割合は、GPT-4Vで31.42%、それ以外の評価されたモデルでは16%未満でした。これは個々の写真について正解した割合ではなく、対の問いをそろって正解できた割合です。よく知る内容を答えるだけでなく、見せられた画像の違いに応じて答えを変えられるかを厳しく見ています。

この研究では、画像より手持ちの知識を優先してしまう誤りと、画像の見誤りが取り上げられています。有名な図についての知識がある場合でも、目の前の図で線や位置が変わっていれば、答えもそれに応じる必要があります。知識が豊富であることは、この切り替えを保証しません。写真をもとに説明させる課題でも、既に知っていそうな題名に合う文が返ることと、写っている細部への対応を分けて見る理由になります。

家庭でこの評価問題集を再現する必要はありません。比較するときは、同じ写真について尋ねる対象を限定し、その対象の位置を自分でも示せるようにします。答えが元の写真のどこに対応するかを追えれば、少なくとも何を照合するかがはっきりします。写真を変えていないのに説明だけが変わった場合も、もっともらしい方を選ぶ前に、食い違った箇所を元の資料へ戻して点検します。

画像問題に正解することと、画像の効果は違います

先に見たNakao（2024）の比較は、日本語の医師国家試験の画像つき問題を対象に、同じGPT-4Vへ画像を渡す場合と渡さない場合を比べています。画像を加える効果を調べるには、このように画像の有無以外をそろえる見方が役立ちます。画像ありの値が低くても、研究で統計的に明らかな差が出ていないため、画像が成績を悪化させたと結論する比較ではありません。問題文の手がかりだけでも正答に届く可能性を含めて読む結果です。

一方、Kawahara（2025）は、日本語の医師国家試験の画像つき問題を対象とする集計で、GPT-4Vが497/723問、68.7%に正解したと報告しています。画像のない問いにはGPT-4、画像つきの問いにはGPT-4Vを使い、画像つきの問題でも最低限の合格水準に達したとしています。この結果は、画像を含む試験に答える能力を示す側の根拠です。同じ問いから画像だけを外した比較とは設計が違うので、画像を加えた効果と、問題を解けた水準を分けて並べます。

手書きの史料を読めた研究と、言語による違い

Humphries（2025）は、18〜19世紀の英語の手書き文書を、画像を扱う大規模言語モデルに書き起こさせました。文字の誤り率は5.7〜7%で、書き起こしをモデルで修正すると、低い場合には1.8%になりました。比較したのは、手書き文字を読み取るための専用ソフトであるTranskribusなどで、モデルによる書き起こしの方が良い結果でした。文字の誤り率とは、正しい書き起こしに照らして、文字の置き換えや抜け、余分な文字などを測る指標です。

この成果の中心は、英語の手書き文書を文字に移す作業です。書き起こしを作る段階と、その書き起こしを修正する段階もわかれています。史料の内容を歴史的にどう解釈するかや、写真にない物を説明に加えるかとは、測っている仕事が異なります。文字単位の誤り率が低い結果を読むときも、固有名詞や意味を左右する文字が合っているかは、原文と照合する箇所になります。

Crosilla（2025）は、公開の手書き文字の評価用データで、大規模言語モデルとTranskribusなどの専用モデルを比べました。英語では強い成績を示す一方、英語以外では弱く、自分で誤りを修正する力も十分ではありませんでした。現代の手書きでは商用の大規模言語モデルが良い成績でしたが、歴史的な文書では専用モデルとの優劣が一貫していませんでした。Humphriesの修正の成果と合わせると、自己修正という同じ呼び方でも、使う文書や方法を見て評価する必要があります。

読み直すよう頼んで答えが変わったときは、前の文字列と新しい文字列を並べます。変わった箇所について、元の画像の線と対応するか、教科書の読みと合うかを別々に見ます。修正の理由が説明されても、実際の形に戻る手順は残します。書き起こしに疑いの印を付けた部分を残せば、そのまま確定した文章としてノートへ移してしまうのを避けられます。

夕食後の見直しで、写真と説明を照合する手順

最初はAIの返答を開かず、写真で見える形と、自分では読めない部分を書き出します。教科書の本文で既に知っていることは、観察したこととは別の欄に置きます。文字がつぶれているなら、元のページに戻って見直し、図版の説明文が読める状態にします。画像の解像感と、内容を裏づける資料がそろっているかを、送る前に点検する順序です。

AIに頼むなら、「写っている物と位置を挙げ、知識からの推測は別にしてください」という短い指示が使えます。これは返答の区別を見やすくするための依頼で、正確さを保証する方法ではありません。返答の各部分に、写真のどこが根拠かを書き添え、教科書の説明文から得た内容にはその旨を残します。画像の線から読めた文字と、知識から補った文字を同じ扱いにしないことが、書き起こしの点検につながります。

ノートに採用する際は、写真の観察を求める設問なのか、本文と結びつけた説明を求める設問なのかに戻ります。観察の設問に、写真だけからは導けない歴史の説明を足すと、問いの要求から離れます。本文と結びつける設問なら、どの観察とどの本文の記述をつないだのかが読める文にします。見たものと読んで知ったことの出どころを残すと、保護者も説明の筋道を追えます。

保護者が見るときは、返答の専門的な言葉の多さよりも、子どもが元の資料を指せるかに目を向けます。次の項目を一緒に点検すると、歴史の知識をその場ですべて教える必要はありません。答え合わせの際には、誤った語だけを消すより、その語をどこから採ったのかを聞き取ります。

• 写真で自分が見つけた箇所に印があるか
• 読めない文字を、読めた文字と区別して残しているか
• AIが追加した説明に対応する教科書の記述があるか
• 書き起こしを直した箇所が元の画像と対応しているか

元の写真が不鮮明で、照合できる読みや説明文も手元にない場面では、AIに読める文字を決めてもらう使い方を避けます。原文を正確に写すこと自体が課題なら、未読の箇所を推測で埋めず、読めた範囲を残します。答えが長くなるたびに確かめる資料が増えるなら、教科書の説明文を先に読む方が作業を絞れます。画像の送信方法や扱える条件は、使うサービスの最新の説明を参照して選びます。

よくある質問

写真だけ送り、題名を伏せれば誤りは減りますか

題名を伏せた返答も、画像のどの部分に対応するかを点検して扱います。画像を読んだ内容と見出しから得た知識を分けたいなら、送った範囲を記録する方法があります。写真だけの返答と説明文を含めた返答が違った場合は、どちらが詳しいかで選ばず、追加された内容の出どころを元のページで追います。

AIと自分の読みが違ったら、どちらを採用しますか

教科書の読みや図版の説明文に照らし、裏づけの取れた方を採用します。自分の読みも候補として残し、食い違った文字の位置に印を付けると比較しやすくなります。教科書にも読みがなく、画像の線からも決められない箇所は、空白や未読の印を残し、確定した読みとは区別します。

きれいに撮り直せば、詳しい説明を信じてよいですか

撮り直した後も、説明を写真と照合する必要があります。見やすくなった線や文字については読み取りをやり直せますが、AIが背景知識を足した部分は別の点検になります。元の写真と撮り直した写真を残し、返答のどの箇所が変わったのかを見比べてから、教科書の記述と対応させます。

この記事の限界

測定の中心はモデルの正答や書き起こしの誤りで、日本の中高生が誤読を見つけられるか、宿題で使った後も正しい読みを覚えているかは、今回引いた研究の対象ではありません。日常の写真、図表を用いた評価問題、日本語の医学試験、英語を中心とする手書き文書が材料で、家庭の学習を長期に追った結果とは区別しています。

GPT-4Vなどを評価した当時の成績が、その後に更新されたモデルでも同じになるかは、この比較からは判断できません。教科書の図版や、くずし字・漢文の古文書を含む日本語の史料の画像は、ここで引いた評価のどれにも入っていません。

参考文献

1. Li Y ほか. Evaluating Object Hallucination in Large Vision-Language Models. Proc EMNLP. 2023:292-305.
2. Rohrbach A ほか. Object Hallucination in Image Captioning. Proc EMNLP. 2018:4035-4045.
3. Guan T ほか. HallusionBench: An Advanced Diagnostic Suite for Entangled Language Hallucination and Visual Illusion in Large Vision-Language Models. Proc IEEE/CVF CVPR. 2024:14375-14385.
4. Nakao T ほか. Capability of GPT-4V(ision) in the Japanese National Medical Licensing Examination: Evaluation Study. JMIR Med Educ. 2024;10:e54393.
5. Kawahara T ほか. GPT-4/4V’s performance on the Japanese National Medical Licensing Examination. Med Teach. 2025;47(3):450-457.
6. Humphries M ほか. Unlocking the archives: Using large language models to transcribe handwritten historical documents. Hist Methods. 2025;58(3):175-193.
7. Crosilla G ほか. Benchmarking large language models for handwritten text recognition. J Doc. 2025;81(7):334-354.

よくある質問