生成AIに作らせた比較表は誤りに気づきにくいのか｜表の形の答えと確かめ方の研究

深夜、画面に並んだ比較表と開いたままの教科書を見比べていると、短い語で埋まった欄だけで復習を済ませたくなります。「マカートニーとアマーストの違い」のような比較で縦横の線が整い、空欄もないと、中身の点検まで終わったように見えることがあります。「知覚的な流暢さは真偽の判断に影響します」とは、Reber（1999）の結論の日本語訳です。ここでいう流暢さは、文字を目で追って読み取りやすいことを指し、身近な比較表への疑問を考える入り口になります。

生成AIに作らせた比較表は誤りに気づきにくいのか｜表の形の答えと確かめ方の研究

深夜、画面に並んだ比較表と開いたままの教科書を見比べていると、短い語で埋まった欄だけで復習を済ませたくなります。「マカートニーとアマーストの違い」のような比較で縦横の線が整い、空欄もないと、中身の点検まで終わったように見えることがあります。「知覚的な流暢さは真偽の判断に影響します」とは、Reber（1999）の結論の日本語訳です。ここでいう流暢さは、文字を目で追って読み取りやすいことを指し、身近な比較表への疑問を考える入り口になります。

ただし、この実験で変えたのは文字の色による読みやすさで、生成AIの表を読んだ人の見落としを測ったわけではありません。表だと文章より誤りに気づきにくいかは未解明ですが、表を作るAIの誤りは報告されており、欄ごとに資料と照らして使うのが妥当です。知りたいのは、表にすることをやめるべきか、それとも便利な形を生かして点検できるかという点です。以下では、表を作る処理、読む人の判断、学習に使う際の照合を分けて考えます。

要点

• 表の生成で報告された課題: 内容の抜け、書式、推論、作り話など
• 読み手についての根拠: 文字の読みやすさ、グラフ、繰り返し見た文の真偽判断
• 表の利点: 同じ項目の値を探し、対応を追いやすい配置
• 点検の単位: 人物の行と、その行に属する年・相手・結果の各欄

表を整える処理と、中身を正しくする処理

生成AIに比較表を頼むと、知りたい項目が見出しになり、対象ごとに情報が並びます。長い説明から該当箇所を探す手間が減るため、復習の見取り図として使いたくなる形です。しかし、出てきた表を評価するときには、欄がそろったか、必要な内容が入ったか、その内容に根拠があるかを別々に見ます。文字のはみ出しを直しただけなら、行の中の人名や年の正誤はまだ手をつけていない状態です。

Tang（2024）は、大規模言語モデル、つまり大量の文章をもとに次に続く語を予測するよう学習した仕組みに、複雑な表を作らせる課題を調べました。対象にはGPT-NeoX-20B、GPT-3.5、GPT-4、Vicunaが含まれ、文字の表や、ウェブページなどで使う形式で出力を評価しました。誤りの分析では、内容を漏れなく含めること、書式を守ること、推論、理解、文脈に合った表現、事実に支えられない作り話に課題がありました。構造を意識した追加学習を受けたLLaMA-7Bが多くの指標で上回った点も、表の扱いが学習方法に左右されることを示します。

この研究の対象は複雑な構造の表を生成するモデルで、人が歴史の表を覚える場面とは測定する作業が違います。学習用の点検に引き寄せるなら、見た目の完成度だけで検査を終えず、内容の抜けと事実の対応を別に探す視点が得られます。たとえば、年が書かれていても、それが来訪の年なのか、別の出来事の年なのかまで読まなければ、項目への答えになっているかを判断できません。表の上から下まで埋まっていることと、各欄が見出しに答えていることは、検査する箇所が異なります。

決まった形式に押し込むと何が起きるか

表の形を指定することには、出力の順序をそろえる役目があります。一方で、説明を短い欄に収めるには、何を残して何を省くかも決める必要があります。年や人物のように短く書ける項目と、理由や経緯のように文章が必要な項目を、同じ短さにそろえると、条件の部分が読めなくなることがあります。点検では、短い答えにするために意味を狭めていないかも見ます。

Tam（2024）は、機械が読み取りやすいJSONやXMLという決まった形式の出力と、自由な文章の出力を比べました。形式の制約を加えると推論課題の成績が有意に低下し、制約が厳しいほど低下が大きくなる傾向がありました。これは画面上の比較表そのものを比べた実験ではなく、答えを所定の形式に収める制約を調べた結果です。モデルに求める形式と、答えの中身を考える処理の関係を検討する根拠として位置づけられます。

表を受け取る側は、結論だけになった欄から元の条件を探すと、照合する場所を絞れます。「結果」の欄なら、何をしようとして、どの段階の結果を書いたのかを、教科書の前後の文で読みます。同じ行に複数の出来事が含まれるなら、無理に短い言葉へまとめず、表の外に説明を添える方法もあります。欄の長さを統一する作業は、説明の条件が残っているかを確かめた後に回します。

読みやすいほど信じる、という説明の確かさ

Reber（1999）は、文の文字色を変え、背景に対して読みやすい場合と読みにくい場合で、内容を正しいと判断するかを調べました。対象は文字の色を変えた文の真偽判断で、対象者の詳しい属性は抄録に記載されていません。結果の要点は下の表に置きます。表の罫線や項目の配置への印象を論じる際には、まずこの実験で操作したものが文字の見やすさであることを押さえます。

また、図を添えることの影響には、予想どおりにならなかった結果もあります。Dragicevic（2018）の対象はクラウドソーシング参加者による文章とグラフの評価です。薬の効き目について、中身の乏しいグラフを添えると信じやすくなるという先行研究を追試しました。文字の読みやすさと図の追加は異なる操作なので、測った対象ごとに結果を並べます。

同じ内容に図を足したときには、信じる度合いだけでなく、理解のしやすさも評価の対象になります。先に見たDragicevic（2018）では、グラフは理解をわずかに助けたようで、その寄与は説得への寄与より明瞭でした。そこで学習の表を見るときも、内容を探しやすかったという感想と、資料に照らして正しかったという判定を分けて記録します。見やすさへの評価だけで、正誤の判定欄を埋めないための分け方です。

表が役立つのは、探す情報がはっきりしているとき

Vessey（1991）は、意思決定でグラフと表を使う先行研究を、課題と情報の示し方の相性という観点から整理しました。新たに参加者へ表を読ませた実験ではなく、既存の研究結果を説明する理論の論文です。グラフは空間的な関係を、表は個々の記号や値を強調するため、値を正確に読む作業には表が適していると論じています。何を読み取りたいかを先に決めると、表を使う目的も明確になります。

歴史の比較なら、同じ項目を横に追い、人物と年の組み合わせを探す作業に表を使えます。経緯の説明を読む段階では、前後関係がつながる文章に戻ります。表を閉じて理由を説明しようとした際に言葉が出てこないなら、関連する段落を読み直す場所が見えてきます。表の欄が埋まった時点を学習の終わりにせず、求める答えの種類に合わせて資料の形を選びます。

Zhao（2023）は、表をもとに文章を作る作業などでモデルを評価し、GPT-4が文章の生成、出来の評価、修正の助言に有効だと報告しました。VicunaやLLaMA-2との間には性能差もありましたが、この結果は特定の製品を選ぶ順位表としてではなく、表の情報を別の形へ移す能力の評価として読みます。Tangの研究が表を作る側を扱ったのに対し、こちらは与えられた表を出発点にする側を扱っています。学習で表を文章へ戻すなら、元の欄にない因果関係が足されていないかを、照合する項目に加えます。

マカートニーとアマーストの違いを照らす手順

マカートニーとアマーストはいずれも、イギリスから清に派遣された使節です。比較の際には、人物の名前を起点にして、来訪の年、相手、結果を教科書や用語集でたどります。AIの表を眺めて知っている名前が並んでいると感じるだけでは、別の人物の情報が同じ行に入る型の誤りを見落とすおそれがあります。ここからは、研究結果そのものではなく、資料と表を行き来するための実用上の手順です。

まず、表の行見出しにある人物を、教科書の索引か本文で探します。該当する段落を読み、年がどの出来事にかかっているか、人物名が誰の立場を表しているかを拾います。それから表へ戻り、各欄の横に参照したページと、本文中の手掛かりになる語を残します。行全体にまとめて印をつけず、根拠を読めた欄にだけ印をつけると、照合途中の場所が残ります。

次に、結果の欄に入った短い言葉を、元の説明の主語や条件と照らします。教科書に直接対応する記述が見当たらない欄は、埋め直す前に保留と記します。「不明」や空欄がないほど完成して見える表では、どの記述にも出所があるかを意識してたどります。空欄の有無を正確さの証拠にせず、調べた跡の有無を見ます。

最後に、共通点と相違点を自分の文で書き、表のどの欄からそう判断したかを指します。違いとして取り出した項目が片方では目的、もう片方では結果を表していたら、比較の基準から直します。表だけで関係を追えない箇所は、無理に欄へ押し込まず説明を添えます。深夜に資料を開き直す余力がないなら、未照合の表を暗記に回さず、続きに読むページを記して作業を区切ります。

注意を向けるだけでなく、照合する知識を用意する

Brashier（2020）は、繰り返し目にした文を正しく感じやすくなる「真実性の錯覚」を、若い成人で調べました。最初に文を見たときから正確さを判断させると、後の錯覚は消えましたが、その効果は関連する知識を持つ場合に限られました。時間をおいた後にもこの選択的な効果は続きました。ここで注目するのは、注意を促す言葉だけでなく、判断に使う知識が条件に含まれていることです。

そのため、比較する人物をまだ区別できない段階では、AIの表を点検する前に教科書の該当箇所を読みます。読み終えてから、各人物について資料に書かれた内容を短くメモし、表の行と照らします。資料のどこを見ても判断材料を拾えないときは、生成を繰り返して同じ答えが出るかを試すより、用語集の関連項目をたどります。新しい答えの数を増やすより、照合に使う記述を手元に用意する進め方です。

保護者が見る場合も、細かな歴史知識をその場で採点する役を引き受ける必要はありません。子どもが参照したページを示せるか、照合した欄と未照合の欄を区別しているかを、一緒に見ます。表を作った速さやきれいさだけで作業を評価すると、資料を読む過程が見えなくなります。確かめた記録を見ながら、どこで行と内容の対応がずれたかをたどるほうが、直す対象が具体的になります。

• 参照箇所の記録: 欄の内容を支えるページと語句
• 照合の進み具合: 確かめた欄と保留の欄の区別
• 比較の基準: 左右で同じ種類の情報を並べているか
• 修正の内容: 表現の整え直しか、事実や対応の訂正か

よくある質問

空欄のある表は、すべて埋まった表より質が低いですか

空欄の数だけでは、表の質は決まりません。必要な情報が落ちている場合も、根拠が足りないため保留した場合もあるので、空欄の理由を読み分けます。学習に使う際は、その項目が比較に必要かを先に考え、必要なら教科書の該当箇所を探して追記します。調べても判断がつかない箇所には保留の印と調べた資料名を残し、別の行から似た内容を移して埋めないようにします。

表を文章に戻せば、正しさを確かめられますか

文章に戻すと主語や関係を追う助けになりますが、正しさの照合には元の資料も使います。先に見たZhao（2023）の結果は、与えられた表をもとに文章を作る能力の評価です。実際に点検するなら、文章中の人物・年・結果に対応する欄を指し、その欄が参照している教科書の文まで戻ります。文章にだけ現れた理由や評価があれば、その部分を分けて調べます。

AIに誤りの点検も頼めば、自分で読む量を減らせますか

AIから点検の候補を得ても、根拠を読む箇所は残ります。候補が出た欄について、何が疑わしいとされたのかを自分の言葉でメモすると、教科書で探す対象を絞れます。訂正後の表を丸ごと上書きせず、元の表と見比べて変更された欄を追えば、人名の修正に伴って別の年まで変わった場合にも気づく手掛かりになります。採用する内容には、読んだ資料の該当箇所を添えます。

この記事の限界

適用範囲は、複雑な表や所定の形式を生成するモデルの評価と、文字・グラフ・反復された文を読む人の判断にわかれ、成人の実験を含みます。引いた研究には、日本の中高生が日本語の歴史の比較表を読む場合の測定はなく、学習後の長期の記憶や、表の形自体による信頼の変化も検証されていません。

生成の研究は当時のモデルと課題の評価であり、現在使うモデルの誤りの率を示す値ではありません。同じ内容を表と文章で示して誤りの発見を人で測った実験が出るまで、表の形の危うさは推測の域を出ません。

参考文献

1. Tang X ほか. Struc-Bench: Are Large Language Models Good at Generating Complex Structured Tabular Data? Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 2: Short Papers). 2024:12-34.
2. Tam ZR ほか. Let Me Speak Freely? A Study On The Impact Of Format Restrictions On Large Language Model Performance. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: Industry Track. 2024:1218-1236.
3. Reber R ほか. Effects of perceptual fluency on judgments of truth. Conscious Cogn. 1999;8(3):338-342.
4. Dragicevic P ほか. Blinded with Science or Informed by Charts? A Replication Study. IEEE Trans Vis Comput Graph. 2018;24(1):781-790.
5. Brashier NM ほか. An initial accuracy focus prevents illusory truth. Cognition. 2020;194:104054.
6. Zhao Y ほか. Investigating Table-to-Text Generation Capabilities of Large Language Models in Real-World Information Seeking Scenarios. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing: Industry Track. 2023:160-175.
7. Vessey I. Cognitive Fit: A Theory-Based Analysis of the Graphs Versus Tables Literature. Decis Sci. 1991;22(2):219-240.

よくある質問