聞き慣れない用語を生成AIに聞くと作り話でも自信ありげに答えるのか｜確信の伝え方と頼りすぎの研究

深夜、授業で扱った用語を復習しながら用語集をめくっていると、「対蹠人」という聞き慣れない語が目にとまることがあります。意味も使われる場面もあいまいなまま、スマートフォンの生成AIに意味を尋ねると、長く、迷いのない説明が返ってくることもあります。知らない語の説明がすぐ読めると助かりますが、自分に知識がないぶん、どこに誤りがあるかを判断するのは難しくなります。

聞き慣れない用語を生成AIに聞くと作り話でも自信ありげに答えるのか｜確信の伝え方と頼りすぎの研究

深夜、授業で扱った用語を復習しながら用語集をめくっていると、「対蹠人」という聞き慣れない語が目にとまることがあります。意味も使われる場面もあいまいなまま、スマートフォンの生成AIに意味を尋ねると、長く、迷いのない説明が返ってくることもあります。知らない語の説明がすぐ読めると助かりますが、自分に知識がないぶん、どこに誤りがあるかを判断するのは難しくなります。

では、その説明が作り話でないと、どうやってわかるのでしょうか。もっともらしい説明と正しい説明は、画面の上では同じように見えます。聞き慣れない用語を生成AIに聞いたときは、説明の調子を正しさの証拠にせず、用語集や辞書で語そのものと意味を先に確かめる必要があります。 医療の診断と治療の選択を複数のモデルに解かせた研究では、モデルが言葉で示す確信度は、一貫して確信しすぎに偏っていました（Savage 2025）。ここでは、確信の伝え方と、それを人がどう受け取るかを調べた研究から、どこで一度止まるべきかを考えます。

要点

• 実在しない検査名や病名を混ぜて聞くと、6つのモデルは50〜82%の割合でそれを本物として説明を広げた（Omar 2025）。
• モデルに口で確信度を言わせると確信しすぎに偏るが、同じ問いを繰り返したときの答えの一致は正しさを見分けやすかった（Savage 2025）。
• 人は説明が長いほど答えを正しいと思いやすく、説明の長さそのものは正しさと関係しない（Steyvers 2025）。
• 機械への頼りすぎは、忙しさや信頼で強まり、訓練や責任の強調で弱まる（Goddard 2012）。
• 一人称で「よくわからないのですが」と添えた答えは頼りすぎを減らしたが、言い方によって効果が変わった（Kim 2024）。
• 確信度の当たり具合は人と同程度かわずかに良く、AIだけが特別に自信過剰という見方は支持されなかった（Cash 2026）。

自信ありげな答えは、どこまで本当なのか

生成AIについてよく言われるのは、「知らないことでも、ためらわずにもっともらしく答える」という指摘です。これはハルシネーション（生成AIが原文や事実に無い内容をもっともらしく作ること）と呼ばれ、用語の意味を聞く場面でも問題になります。実際に、存在しない用語を本物として説明してしまうかどうかを、実験で確かめた研究があります。

医学の臨床判断を題材にしたOmar 2025の研究では、医師が確かめた症例文に、実在しない検査名・徴候・病名を1つずつ混ぜ、6つの大規模言語モデル（大量の文章から次に来る語を予測するよう学習した仕組み。ChatGPTなどの土台）に読ませました。モデルと頼み方によって、作り物を本物として説明を広げる割合は50〜82%に達し、もっとも成績の良かったGPT-4oでも53%でした。「作り話をしないでください」という趣旨の指示文を添えると、全体の平均は66%から44%に下がり、GPT-4oでは53%から23%になりました。それでも誤りは残り、著者らは指示文の工夫が誤りを減らすが、なくしはしないと結論しています。

ただし、この研究で混ぜられたのは実在しない用語で、実在するが聞き慣れない語ではありません。「対蹠人」は辞書に載っている実在の語で、研究の題材とは種類が違います。それでも、生成AIが知らない言葉を渡されたときに「知らない」と答えるのではなく、説明を組み立ててしまう傾向があることは、この数字から読み取れます。説明の自信と中身の正しさは、別に扱う必要があります。

確信度を言わせるより、答えの一致を見る

「この答えはどれくらい確かですか」と生成AIに聞けば、自信の度合いがわかるように思えます。しかし、モデルに口で確信度を言わせる方法は、信頼できる目安になりにくいことが報告されています。Savage 2025の研究は、GPT-3.5、GPT-4、Llama2、Llama3に医療の診断と治療の選択をさせ、確からしさを測る3つの方法を比べました。

1つ目はモデル自身に確信度を言葉で言わせる方法、2つ目は語の確率を見る方法、3つ目は同じ問いを何度も聞いて答えがそろうかを見る方法（自己一致）です。口で言わせた確信度は、一貫して確信しすぎに偏っていました。一方、文の埋め込み（文の意味を数値の並びで表したもの）による自己一致は、正しさを見分ける力がもっとも高く（ROC AUC 0.68〜0.79、正しさを見分ける力を表す指標）、GPTによる注釈つきの自己一致は2番目でした（ROC AUC 0.66〜0.74、Savage 2025）。

つまり、モデルが「確かです」と言う言葉よりも、同じ質問に安定して同じ答えを返すかどうかのほうが、正しさの手がかりになります。ただし、確信度の当たり具合そのものは、人と大きく違わないという研究もあります。Cash 2026は、ChatGPT、Bard/Gemini、Sonnet、Haikuの4つと人に、試合や賞の予想、雑学の問題などで確信度を言わせ、その当たり具合を比べました。

結果は、モデルの確信度の当たり具合が人とほぼ同じか、わずかに良いというものでした。人と同じように確信しすぎる傾向があり、人と違って前の成績を見て確信度を直すことが苦手でした。AIだけが特別に自信過剰という見方は、この研究からは支持されません。問題は、自信の付け方そのものよりも、その自信を人がどう受け取るかにあります。

長い説明ほど、人は正しいと思いやすい

人が生成AIの答えをどれだけ正しいと思うかは、答えの中身だけで決まりません。Steyvers 2025の研究では、初期設定の説明がつくと、人はモデルの答えの正しさを実際より高く見積もりすぎました。説明が長いだけで、正しさは変わらないのに、人の信頼は上がりました。

この研究では、説明をモデルの確信度に合わせて書き直すと、人の見積もりと実際の正しさの差が縮みました。長さや詳しさが、正しさの代わりの手がかりになってしまうということです。用語の説明を聞く場面でも、丁寧で長い説明は「よく調べた証拠」に見えますが、研究の上では、それは正しさの目安になりません。

人が機械の答えに頼りすぎる現象は、生成AIより前から研究されています。Goddard 2012は、医療を中心にした13,821本の論文から選んだ74本をまとめ、自動化への過信（機械の判断を、人の判断より正しいと決めつけてしまうこと）がどんな条件で強まるかを調べました。過信は、使う人の経験・信頼・確信、仕事の量・難しさ・時間の制約で強まり、訓練、使う人の責任の強調、機械が出す確信度の表示などで弱まる傾向がありました。生成AIに限らず、判断を助ける仕組み一般に当てはまる知見です。

忙しいとき、難しい判断を急いでいるとき、機械の答えをそのまま使いたくなるのは、意志が弱いからではありません。条件がそろうと、人は多かれ少なかれ頼りすぎの側に寄るということです。深夜に小テストの準備をしていて、疲れて判断を急いでいる状況は、まさにその条件に近いと言えます。

頼りすぎは、どんな条件で強くなるのか

頼りすぎを弱める工夫も試されています。Kim 2024は、404人を対象にした事前登録つきの実験で、架空のAI検索の答えを用意しました。答えに「よくわからないのですが…」のような一人称の不確かさの言葉を添えると、人はその答えに合わせにくくなり、正答が増えました。

ただし、効果は言い方で変わりました。「はっきりしませんが…」のような一般的な言い方では効果が弱く、統計的に有意ではありませんでした。誤った答えへの頼りすぎは減ったものの、なくなったわけでもありません。不確かさの言葉は、答えを疑うきっかけにはなりますが、それ自体が正しさを示すわけではありません。

ここまでの研究を、よく言われることと並べると次のとおりです。表の左から、よく言われること、研究で言えること、比べた相手、対象の順です。同じ「自信」を扱っていても、調べた題材と対象は少しずつ違います。

表を見ると、研究ごとに比べた相手と対象が違います。Omar 2025は実在しない用語を混ぜた医学の症例、Savage 2025は医療の選択、Steyvers 2025は成人の実験参加者、Goddard 2012は生成AI以前の医療の現場を扱っています。どれも、生成AIが実在する聞き慣れない用語をどう説明するかを直接調べたものではありません。それでも、自信の表れ方と人の受け取り方については、共通する手がかりが出ています。

「対蹠人」を調べるときに一度止まる手順

ここまでの研究を踏まえると、用語を生成AIに聞いたときに見るべきは、説明の長さや自信ではなく、語そのものが確かめられる場所にあるかどうかです。「対蹠人」は辞書に載っている実在の語で、地球の反対側に住む人を指す語として説明されることが多い言葉です。まず用語集の索引で語を探し、載っていればその説明を読む、という順番にします。

手順は4つあります。1つ目は、用語集や辞書の索引で語そのものを探します。2つ目は、生成AIの説明のうち、用語集に書かれていない部分を別に書き出します。3つ目は、同じ質問を別の言い方でもう一度聞き、答えが同じかを見ます。4つ目は、説明に書かれた年号や人名を、教科書の年表や索引で照らします。

3つ目の「別の言い方でもう一度聞く」は、Savage 2025の自己一致の考え方に沿った使い方です。同じ答えが返れば、その語についてモデルの中で説明が安定している手がかりになります。答えが大きく変われば、その説明はまだ固まっていないと見て、用語集の説明を優先します。ただし、答えが安定していることと正しいことは別なので、最後は用語集で決めます。生成AIの説明は、用語集で確かめた意味を整理する補助として扱います。レポートを書くときも、説明の長さや言い切りの強さより、語と意味をどの資料で確認したかを判断のよりどころにします。

聞き方の例は、次の2つにとどめます。どちらも、答えを正しくするための指示ではなく、説明の安定と根拠の有無を見るためのものです。

• 「この語が載っている教科書や用語集の種類を教えてください。載っていない場合は『載っていない』と答えてください。」
• 「同じ質問を別の言い方で聞きます。前の答えと違う点があれば、はっきり示してください。」

使わないほうがよい場面もあります。テストの答案や小論文の本文に、用語の意味をそのまま書き写すときです。確かめる時間がなく、用語集も手元にないまま答えを提出するなら、生成AIの説明は下書きにもなりません。まず用語集で語を探し、説明の骨組みを自分で作ってから、足りない部分だけを生成AIに聞く順番が安全です。

保護者が一緒に確かめられること

保護者が見るときのポイントは、答えの正しさを一緒に判定することではなく、子どもがどこで確かめたかを聞くことです。「AIがそう言っていた」ではなく、「用語集のどこに書いてあったか」を指させるかどうかが、ひとつの目安になります。判定するのは用語集で、親は確かめた形跡を聞く役に回ります。

具体的には、次の3点を聞けば足ります。用語集や辞書で語そのものを見たか、生成AIの説明と用語集の説明で食い違う部分はどこか、年号や人名を教科書の年表で照らしたか、の3つです。この3点は、答えの中身を親が知らなくても、短いやり取りで確認できます。

もうひとつ、説明の長さに引かれていないかを見ます。Steyvers 2025の研究では、説明が長いだけで人の信頼が上がりました。長い説明を読んだ後に「で、用語集には何と書いてあった？」と聞くと、子ども自身が説明の調子と中身を切り分ける練習になります。説明の長さと正しさを分けて見る目は、教科書の読み方にもつながります。

生成AIを使うこと自体を止める必要はありません。調べる入口として使うのは便利で、語の候補を出すのには向いています。止めるのではなく、最後に用語集へ戻る習慣を一緒に作る、という関わり方になります。毎回すべてを確認する必要はありません。テスト前やレポート提出前など、答えをそのまま使う場面だけ、用語集に戻ったかを聞けば足ります。

よくある質問

生成AIは、実在しない用語でも説明してしまいますか

Omar 2025の研究では、実在しない検査名や病名を症例文に混ぜると、6つのモデルが50〜82%の割合でそれを本物として説明しました。指示文で減らせても、なくなりはしませんでした。実在する語でも、知らない語であれば同じように説明を組み立てる可能性があります。説明の自信だけでは、作り話かどうかを見分けられません。

自信ありげな答えは、正しいと考えてよいですか

よくありません。Savage 2025の研究では、モデルが口で言う確信度は確信しすぎに偏っていました。Cash 2026の研究では、確信度の当たり具合は人と同程度でしたが、前の成績で修正できない点が人と違いました。自信の強さは、正しさの目安として弱いものです。同じ問いを繰り返したときの答えの一致のほうが、まだ手がかりになります。

「対蹠人」のような語は、どう調べればよいですか

まず用語集や辞書の索引で語そのものを探します。次に、生成AIの説明を最後まで読み、用語集に書かれていない部分を分けて書き出します。同じ質問を別の言い方でもう一度聞き、答えが変わらないかを見ます。最後は、手元の用語集と教科書の年表で決めます。答えが安定していても、それが正しさの証拠にはならない点には十分注意します。

子どもが生成AIの説明を丸写ししていたら、どう声をかけますか

「用語集のどこに書いてあった？」と聞くところから始めます。答えられなければ、一緒に索引を引きます。説明の長さや自信ではなく、語の所在を確かめたかどうかを見る声かけになります。生成AIを止めるのではなく、最後に用語集へ戻る順番を作ります。子どもが説明を写す前に、自分の言葉で1文にまとめる時間を入れるのも一案です。

この記事の限界

確信の示し方と頼りすぎについて引いた研究は海外の成人を対象にしたものが中心で、英語の医療の課題を扱ったものや、1回の課題や短い期間で確かめたものが多くを占めます。日本の中高生が日本語の歴史用語を調べる場面を扱った研究や、「対蹠人」のような実在する語の説明の正確さを測った研究は見つかっていません。

また、Omar 2025やSavage 2025で使われたモデルは、公開から時間がたっています。今の版で同じ割合や同じ偏りになるかは、調べ直されていません。用語の意味を答案に書く前に、授業で指定された辞書や用語集の記述へ戻ります。

参考文献

1. Savage T ほか. Large language model uncertainty proxies: discrimination and calibration for medical diagnosis and treatment. J Am Med Inform Assoc. 2025;32(1):139-149.
2. Omar M ほか. Multi-model assurance analysis showing large language models are highly vulnerable to adversarial hallucination attacks during clinical decision support. Commun Med (Lond). 2025;5(1):330.
3. Steyvers M ほか. What large language models know and what people think they know. Nat Mach Intell. 2025;7(2):221-231.
4. Goddard K ほか. Automation bias: a systematic review of frequency, effect mediators, and mitigators. J Am Med Inform Assoc. 2012;19(1):121-127.
5. Kim SSY ほか. “I’m Not Sure, But…”: Examining the Impact of Large Language Models’ Uncertainty Expression on User Reliance and Trust. Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’24). 2024:822-835.
6. Cash TN ほか. Quantifying uncert-AI-nty: Testing the accuracy of LLMs’ confidence judgments. Mem Cognit. 2026;54(2):375-400.

よくある質問