「1303年に何があったか」を生成AIに聞くと年の数字の扱いで誤るのか｜年号と時間の計算の研究

画面の入力欄には、試験前に覚え直したい年号だけが残っています。「1303年」は西暦の年を表し、世界史ではその年と出来事の対応を調べる手がかりになります。年だけを入力する問いは、数字に対応する歴史の知識を呼び出す問いです。続けて何年前か、何世紀かを尋ねると、知識を答えることに時間の計算が加わります。

「1303年に何があったか」を生成AIに聞くと年の数字の扱いで誤るのか｜年号と時間の計算の研究

画面の入力欄には、試験前に覚え直したい年号だけが残っています。「1303年」は西暦の年を表し、世界史ではその年と出来事の対応を調べる手がかりになります。年だけを入力する問いは、数字に対応する歴史の知識を呼び出す問いです。続けて何年前か、何世紀かを尋ねると、知識を答えることに時間の計算が加わります。

説明が滑らかに返ってくると、数字も正しく扱われているのかどうかが気になるところです。生成AIは年と出来事の対応でも時間の計算でも誤ることがあり、文章の自然さだけでは正しさを判断できません。数字の読み取り、出来事との結びつけ、時間の順序や差の計算では、それぞれ別の処理が求められます。試験前の復習では、答えを丸ごと覚える前に、どこが知識でどこが計算なのかを分けると、点検する箇所が見えてきます。

研究にも、古い日付の扱いに弱さを見つけたものと、問い方や学習の工夫で改善したものがあります。そこで、弱さの仕組みと改善の条件を読み分けながら、生徒が紙の上でできる点検を考えます。保護者が見る点も、年の数字と出来事を組にして書けているかに絞ります。

要点

• 年に対応する出来事を知ることと、時間の差や順序を計算することは別の課題です。
• 日付を細かく区切る処理は、意味のまとまりとずれることがあります。
• 手順を書かせる問い方や追加の学習で、推論の成績が改善した研究もあります。
• 試験前には、覚えるための記録と計算するための記録を分けます。

1303年の問いでは、知識の取り出しと計算を分けます

年の数字だけなら、短い質問なので簡単に答えられそうに見えます。しかし、その年と結びつく出来事を正しく取り出すには、出来事の名前を知っているだけでなく、年との対応も保っている必要があります。出来事の説明がよくできていても、結びつけた年が違えば年号の復習には誤りが残ります。さらに、何年前かを答えるには、取り出した年を使って別の操作をすることになります。

Beniwal（2024）は、紀元前10,000年〜2100年の出来事と数値を含むTempUNという評価用の資料で、12のモデルを調べました。対象は英語の年と出来事の問いで、時間の情報を保持する力と理解する力に大きな限界が見つかったと報告しています。一方、課題に合わせて追加の学習をさせると、誤った出力は減りました。年を尋ねる形式そのものを評価した点が、試験前の年号確認に近い研究です。

Wallat（2024）は、英語の時間に関する問いを使い、過去について細かく尋ねた場合に成績が低いことを報告しました。人による点検と自動の点検の両方で時間に関する誤りが見つかり、比較的新しい情報にも弱さがありました。古い話なら学習する時間が十分にあったはずだという考えだけで、年の対応の正確さは決まりません。知っていそうな出来事ほど、説明へのなじみやすさと年の正しさを分けて読む必要があります。

たとえば、年がずれる誤りと、年は合っていても経過した期間を数え違える誤りでは、直す場所が違います。前者は覚える内容の組み合わせを、後者は計算に使う基準と操作を見直すことになります。答えの文章に印を付けるなら、出来事の部分と年の数字の部分を分けて囲むと、あとでどちらを直したのかが残ります。

日付は人と同じまとまりで読まれるとは限りません

生成AIの土台になる大規模言語モデルは、大量の文章から次に来る語などを予測するよう学習した仕組みです。入力した文字列は、トークンという処理の単位に区切られます。トークンは人にとって意味のある単語や数字のまとまりと一致するとは限らず、日付もその対象になります。画面でひと続きに見える数字と、内部で扱われる単位は区別する必要があります。

Bhatia（2025）は、日付の数字が細かい断片に切り分けられることと、正確さとの関係を調べました。対象は日付を扱う課題です。歴史上の日付や未来の日付のような珍しい日付では、断片化の強さと正答率の低下が結びついていました。また、モデルが断片を組み直す道筋は、人が年、月、日の意味を読み取る順序とは異なる傾向がありました。数字が入力に含まれていることと、その数字を日付として適切に扱うことの間に、処理上の問題があると読めます。

同じBhatia（2025）は、大きなモデルほど日付の断片を組み直すのが速いとも報告しています。したがって、数字を区切る仕組みがあるだけで、日付の問いがすべて失敗するわけではありません。断片を組み直せる力と、個々の問いで正答できるかを合わせて見る必要があります。弱さを見つける研究であっても、補える側の性質が同時に報告されています。

学習中に役立つのは、この内部処理を自分で再現しようとすることより、数字の役割を見失わないことです。年の部分に線を引き、月日がある場合はそれぞれを区別すると、自分がどの数を使っているかを追えます。生成AIの説明に別の数字が現れたときも、入力にあった値なのか、途中で出てきた値なのかを区別できます。年号を見た目の文字列のまま覚える作業と、時間の位置として読む作業を分けるための工夫です。

時間の推論は、課題の種類によって成績が変わります

時間の推論とは、いつ起きたかという情報を使って、前後関係や期間などを考えることです。出来事の名前を言えることに加えて、何を起点とするか、どちらが先か、どの期間を数えるかを扱います。会話で日付について話せることだけでは、これらの操作が同じ程度に得意かはわかりません。評価するときにも、時間に関する問題をひとまとめにしないことが重要になります。

Chu（2024）は、TimeBenchというベンチマークを用いて時間の推論を調べました。ベンチマークは、力を比べるために用意した問題の集まりです。対象はGPT-4・LLaMA2などによる英語の時間推論で、人と比べた成績の隔たりが大きく、推論の種類ごとの得意不得意も見つかりました。数字を扱う研究どうしでも、比べている条件には次のような違いがあります。

試験勉強で注意したいのは、簡単な問いに答えたことを、その後の計算の保証にしてしまう場面です。年と出来事の対応を聞いたあとに期間を尋ねると、最初の答えを土台にして会話が続くことがあります。土台に誤りが残れば、計算の形が整っていても、使っている数が違います。反対に、年の対応が合っていても、前後関係の取り違えや数え方のずれは別に点検する必要があります。

手順を書かせる工夫と、モデルを学習させる工夫は別です

問い方を工夫すると改善するという研究は、生成AIをすべて避けるという結論とは違う道を示しています。Kojima（2022）は、英語の問いに「一歩ずつ考えよう」という指示を加える方法を調べました。InstructGPTのtext-davinci-002とPaLMを使い、算数や記号の操作に加え、日付を理解する課題も含めて推論の成績が改善したと報告しています。利用者の短い指示が、答えを出す過程を変える場合があります。

ただし、Kojima（2022）の抄録で具体的に示されている正答率は、算数の課題のものです。日付を含む複数の課題で改善したという報告と、日付だけの改善幅の数字は分けて読む必要があります。途中を書かせる使い方なら、少なくとも読み手は何を起点にし、どの数を使った説明なのかを点検する材料を得られます。その材料があることと、書かれた計算が正しいことも別です。

Tan（2023）は、時期によって答えが変わる英語の問いを使い、時間の範囲を取り出す学習などで推論を改善しました。資料を渡さずに答える場合、資料を渡して答える場合、推論させる場合のそれぞれで、提案した方法の効果を報告しています。これはモデルの学習の仕方を変える研究で、利用者が質問文に短い指示を足す操作とは異なります。改善の報告を読むときは、手元でできる工夫なのか、開発側の調整なのかを見分ける必要があります。

Zhao（2024）は、英語の時期によって答えが変わる問いで、LLaMa2などがどの年の知識を使うかを調べました。2022年まで学習していても、多くは2019年ごろの知識で答え、LLaMa2を2022年に合わせ直すと、その年の答えを基準にした成績は最大62%上がりました。学習した情報の新しさと、回答で実際に選ばれる知識の時点にはずれがありました。対象の時点をそろえる調整が、そのずれを埋める役割を果たしたと読めます。

試験前の点検は、年の組と計算の欄を分けます

まず、1303年に何があったかという答えを使うなら、年と出来事の組を教科書の年表で一つずつ照らします。長い解説を丸ごと写す前に、年と出来事を隣り合わせに書き、該当する箇所をたどります。ここで見ているのは、出来事の説明の詳しさより、年と出来事が同じ組になっているかです。違いがあった場合は、直した年だけでなく、どの出来事との組を直したのかを残します。

続いて、何年前かを求める場合は、起点にする年と対象の年を紙に別々に書きます。「今から」とだけ書いてある問いなら、計算で使う現在の年を先に明示します。そのうえで、どちらからどちらを引いたのか、結果が年数として書かれているかを見ます。数字が合わないときは、起点の違いなのか、引き算の違いなのかを別々に探せます。

世紀を問われた場合も、年の数字をそのまま眺めて判断するのではなく、世紀の始まりと終わりを紙に書き、その間に対象の年を置きます。計算の答えだけを記録するより、どの範囲に置いたかを残すほうが、数え方のずれを見つける手がかりになります。経過した年数を求める問いと、世紀という区分を答える問いは、求められている答えの種類が違います。自分の解答の末尾に付ける語も含めて、問題が求める形と合わせます。

生成AIに補助を頼むなら、「起点の年と対象の年を示し、計算を順に説明してください」と短く指定する方法があります。返ってきた説明と、自分の紙に書いた起点や操作を並べて見ます。答えが違うときは、どちらかをすぐ消してそろえるのではなく、食い違いが始まった箇所を残します。年と出来事の対応が疑わしい場合は、年表の該当箇所に戻ってその組を点検します。

試験前で、点検する時間を取れないまま新しい年号の一覧を覚える場面には、生成AIを使わないほうがよいです。誤った組を暗記すると、数字だけをあとで直すつもりでも、出来事との結びつきが混ざるおそれがあります。すでに確かめた範囲の復習に絞り、疑問が残る行は暗記する欄から分けておく方法が考えられます。計算を外部の道具に任せられるかなど、使うサービスの機能については、提供元の最新の説明で利用できる範囲を確かめます。

保護者は、数字と出来事が組で書かれているかを見ます

保護者が見る点は、子どもが年の数字と出来事の組を自分で書き、確かめた跡があるかです。数字だけが並ぶメモでは、何と結びつけて覚えたのかが見えにくくなります。隣に出来事が書かれていれば、子どもが復習している単位を一緒に見られます。説明の長さや画面を操作する速さより、紙に残った組に目を向けます。

子どもが訂正した行には、どの組を変更したのかが読み取れる形で印を残すと、保護者も見直した箇所を把握できます。年だけを上書きすると、もとの出来事との対応を直したのか、数字を書き間違えただけなのかが見えなくなります。確かめた組には印を付け、まだ迷っている組には空欄を残すなど、子ども自身が区別できる記録にします。全部の年号を保護者が口頭で試す代わりに、子どもが書いた組の変化を見る関わり方です。

紙の記録が長くなっているときは、子どもが直した行を選んで見せる形にすると、見る場所が定まります。保護者は出来事の長い説明を求めるより、その行で年と出来事のどちらを直したのかを聞くと、組の修正を具体的に捉えられます。書き直しが多くても、それだけで覚え方が悪いと判断する必要はありません。消す前の組と直した後の組が残っていれば、見直した内容を紙の上でたどれます。

年の数字は、短いから処理も簡単だとは限りません。先に見たBhatia（2025）の結果で焦点になるのは、日付の断片化と正確さの関係です。日付を扱う課題のうち歴史上や未来の珍しい日付で、過度な断片化と結びついた正答率の下がり幅は、最大10ポイントでした。

よくある質問

年号の答えが違うとき、数字の区切り方が原因ですか

答えの違いだけから、数字の区切り方が原因だとは判定できません。出来事と年の対応を誤った場合も、期間を求める操作を誤った場合も、最終的な年や年数の違いとして表れます。入力した問いと返った説明を残し、年の対応、起点、計算のどこで食い違ったかを分けると、直す対象を絞れます。Bhatia（2025）のような内部の処理を扱う分析と、利用者が見える答えの点検は、調べているものが異なります。

「一歩ずつ」と頼むだけで年の計算を任せられますか

その指示だけで計算の正しさが保証されるわけではありません。Kojima（2022）が試したのは、英語の推論課題に対して指示を加える方法であり、途中の説明を読む側にも点検は残ります。使うなら、説明中の起点と対象の年を自分の計算欄と比べ、どの値が使われたかを追います。手順を書かせる目的を、答えを受け取ることに加えて、計算の条件を見える形にすることに置きます。

年だけの問いと、月日を含む問いは同じように扱えますか

計算に必要な条件が違うため、月日を含む問いではその条件も書き出します。経過した年だけを求めるのか、月日までの期間を求めるのかで、使う情報を選びます。問いに含まれる月日を落として年だけで計算すると、答えが合って見えても、別の問いに答えた形になります。紙の計算欄には、入力に含まれていた単位と、最後に答える単位を並べて残します。

この記事の限界

比較した研究の中心は英語の年と出来事の問いや時間推論であり、Bhatia（2025）も日本語の年号を扱っていません。これらはモデルを調べた研究であり、日本の中高生が試験前に答えを確かめる行動や、その後の暗記の正確さまでを測ったものではありません。

InstructGPTやPaLM、LLaMa2などで得られた改善や弱さが、現在のモデルにも同じ大きさで残るかは、この研究群からは判断できません。元号と西暦の換算や世紀の数え方を含め、1303年のような日本史・世界史の年号を日本語で問い、その正答率を測る検証は、今回集めた研究ではまだ手つかずです。

参考文献

1. Beniwal H ほか. Remember This Event That Year? Assessing Temporal Information and Understanding in Large Language Models. Findings of EMNLP 2024:16239-16348.
2. Wallat J ほか. Temporal Blind Spots in Large Language Models. Proc WSDM 2024:683-692.
3. Bhatia G ほか. Date Fragments: A Hidden Bottleneck of Tokenization for Temporal Reasoning. Proc EMNLP 2025:3201-3219.
4. Chu Z ほか. TimeBench: A Comprehensive Evaluation of Temporal Reasoning Abilities in Large Language Models. Proc ACL 2024 (Vol 1: Long Papers):1204-1228.
5. Kojima T ほか. Large Language Models are Zero-Shot Reasoners. Adv Neural Inf Process Syst 2022;35:22199-22213.
6. Tan Q ほか. Towards Benchmarking and Improving the Temporal Reasoning Capability of Large Language Models. Proc ACL 2023 (Vol 1: Long Papers):14820-14835.
7. Zhao B ほか. Set the Clock: Temporal Alignment of Pretrained Language Models. Findings of ACL 2024:15015-15040.

よくある質問