更新世と旧石器時代の年代を生成AIに聞くと幅のある数字を一点で言い切るのか｜数の幅の示し方を整理するQ&A

図鑑の年代の欄が、週末に作る調べ学習のノートの横で開かれています。「更新世 旧石器時代」と検索するときは、地質の区分と人の道具による区分を比べようとしています。更新世は地質の時代の区分、旧石器時代は人の道具に着目した区分で、分ける物差しが違います。生成AIに年代を聞いて数字が返ったとき、そのまま覚えてよいかが気になるところです。生成AIの自信ある言い切りだけで年代を確定せず、資料の「約」や幅を残して読むのが基本です。

更新世と旧石器時代の年代を生成AIに聞くと幅のある数字を一点で言い切るのか｜数の幅の示し方を整理するQ&A

図鑑の年代の欄が、週末に作る調べ学習のノートの横で開かれています。「更新世 旧石器時代」と検索するときは、地質の区分と人の道具による区分を比べようとしています。更新世は地質の時代の区分、旧石器時代は人の道具に着目した区分で、分ける物差しが違います。生成AIに年代を聞いて数字が返ったとき、そのまま覚えてよいかが気になるところです。生成AIの自信ある言い切りだけで年代を確定せず、資料の「約」や幅を残して読むのが基本です。

「更新世 旧石器時代」の年代の幅は、どう読めばよいですか

数字の前の「約」は、細かい桁まで確定した値として読まないための手掛かりです。また、始まりから終わりまでの期間と、ある境目をどこに置くかという見積もりの幅は、別の意味を持ちます。年代の欄を見るときは、数字だけでなく、何の時点や期間を表すかを示す見出しまで読むと、この違いを拾いやすくなります。

「更新世 旧石器時代」を比べるノートでも、幅を見つけたら、まず何についての幅なのかを記します。ある時代が続いた期間なら、途中の数字を選んでも時代全体の説明にはなりません。境目の見積もりなら、中央の値を自分で選んで確定値として書くと、元の説明が持つ不確かさを消してしまいます。数字を短く写すために、意味まで削らないことが読み方の出発点です。

AIに確かさを尋ねれば、言い切りを防げますか

確かさを答えさせる工夫に効果を認めた研究はあります。Tian（2023）は、ChatGPT・GPT-4・Claudeなどに英語の知識問題を解かせ、答えへの自信を数字として出力させました。その値は、モデルが内部で次の語などに割り当てる確率よりも、実際に正答する割合とよく合う傾向がありました。自信の数字を出せることと、その数字が実際の正答の割合に合うことを分けて評価した研究です。

一方、Zhou（2024）が調べた公開言語モデルは、不確かさを示すよう求めても自信過剰になる傾向がありました。自信を示した答えの誤りは平均47%という結果でした。利用者が答えに強く頼る傾向も観察されており、断定的な書き方を見て検討を終える危うさが表れています。これは知識問題の答えの正誤に関する結果で、年代の幅が消える割合を測った数値ではありません。

幅を付けると、かえって信用されなくなりますか

幅を付けたために信頼が大きく損なわれるとは限りません。van der Bles（2020）は英国の成人を対象に、事実や数字の不確かさの伝え方を比べました。数字と発信元への信頼の低下は小さく、主に言葉で不確かさを伝える場合に見られました。数字の範囲を示すことと、あいまいな言い方を増やすことは、同じ働きではありません。

Gaertig（2023）は、人の助言を受けて予測する参加者を対象に、見込みの値に信頼区間を添える効果を調べました。信頼区間は、統計的な方法で推定の不確かさを表す範囲です。適度な幅を添えた助言のほうが説得力を持ちうるという結論で、一点で言い切ることだけが伝え方の強みではありません。

ただし、幅の読み取りには難しさもあります。Longman（2012）は心理学専攻の大学生を対象に、健康リスクを一点または幅で示しました。幅による表示は理解を損ね、リスクを高く感じさせ、発信元への信頼を下げる可能性があると結論しています。対象と比べ方を分けると、研究の違いが見えます。

週末の調べ学習では、どう数字を残せばよいですか

年代を確定して覚える段階では、生成AIの答えだけで決めず、教科書や用語集の表記を確かめます。ノートには数字と一緒に「約」、範囲の両端、何の年代かを示す語を写します。AIに文章を短くさせるなら、「年代の『約』と範囲を残し、何を表す数字かも添えて」と頼む方法があります。出力後は元の欄と見比べ、短縮によって落ちた語を戻します。

保護者が見るのは、子どもが図鑑の「約」や幅を一点の数字に言い換えていないかです。言い換えがあれば、その前後で意味がどう変わるかを一緒に話すと、数字を写す際の判断に目を向けられます。自分なら適切な幅を付けられるという感覚も過信できません。Soll（2004）が人に数の範囲を見積もらせた実験では、質問の仕方や分野によって自信過剰の程度が変わり、答えた幅が適切な確かさを保つのに必要な幅の40%ほどしかない場合もありました。

よくある質問

AIが示す自信の割合は、年代の範囲ですか

自信の割合は答えの正しさについての見積もりで、年代の上限と下限ではありません。Tian（2023）が比べたのも、英語の知識問題の答えへの自信と実際の正答との対応です。

幅が広いほど、良い答えですか

広さだけでは良い答えかを判断できず、その幅を置いた根拠と、何を表す幅かが要ります。Longman（2012）の健康リスクの実験では、幅で伝えることが読み手の理解を損ねる可能性も示されました。

いつも同じ方法でAIに範囲を表示させられますか

範囲の表示方法や使える機能は、利用するサービスの最新の説明で確かめます。短くする指示を重ねた場合には、残すよう頼んだ範囲の両端が出力にもあるかを点検します。

この記事の限界

測定されたのは、AIの知識問題への自信と、人が数の幅を見積もったり読んだりする反応です。Tianの英語の課題やZhouの知識問題の結果が、現在のモデルでも同じになるかは未検証です。

日本の中高生が数の幅をどう理解するかを調べた研究は、ここでは取り上げられていません。更新世や旧石器時代の年代を含め、生成AIが年代や数の幅をどう示すかを日本語で調べた研究は、今回集めた範囲では示されていません。

参考文献

1. Tian K ほか. Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback. Proceedings of EMNLP 2023:5433-5442.
2. Zhou K ほか. Relying on the Unreliable: The Impact of Language Models’ Reluctance to Express Uncertainty. Proceedings of ACL 2024 (Long Papers):3623-3643.
3. van der Bles AM ほか. The effects of communicating uncertainty on public trust in facts and numbers. Proc Natl Acad Sci U S A. 2020;117(14):7672-7683.
4. Gaertig C ほか. Are people more or less likely to follow advice that is accompanied by a confidence interval? J Exp Psychol Gen. 2023;152(7):2008-2025.
5. Longman T ほか. The effects of communicating uncertainty in quantitative health risk estimates. Patient Educ Couns. 2012;89(2):252-259.
6. Soll JB ほか. Overconfidence in Interval Estimates. J Exp Psychol Learn Mem Cogn. 2004;30(2):299-314.

よくある質問