判例の名前を生成AIに聞くと事件の中身を取り違えるのか｜法律の質問と作り話の研究

米国の判例について生成AIに質問したとき、法的な事実と食い違う答えが返ってきた割合は、少なくとも58%でした（Dahl 2024）。授業中、教科書の脚注に判例の名前が一行だけ載っていて、事件の中身までは書かれていないことがあります。名前だけでは、事件の争点や判決の理由までは追えません。定期テストや小論文の準備では、その一行をきっかけに名前を検索する人もいるでしょう。

判例の名前を生成AIに聞くと事件の中身を取り違えるのか｜法律の質問と作り話の研究

米国の判例について生成AIに質問したとき、法的な事実と食い違う答えが返ってきた割合は、少なくとも58%でした（Dahl 2024）。授業中、教科書の脚注に判例の名前が一行だけ載っていて、事件の中身までは書かれていないことがあります。名前だけでは、事件の争点や判決の理由までは追えません。定期テストや小論文の準備では、その一行をきっかけに名前を検索する人もいるでしょう。

先生の説明を聞き漏らした生徒が、その名前を生成AIに打ち込むと、年号らしい数字まで並んだ説明がすぐ返ってきます。説明は筋が通っているように見えるため、そのままノートに写したくなります。判例の名前は事件を指すラベルで、ラベルだけから争点や結論は決まりません。司法試験の成績がよいことと、判例の中身を正しく言えることは別であり、名前から聞いた答えは教科書・資料集・判例集の3点で照らす必要があります。 どこまで信じてよいのかを、研究が比べた相手と一緒に見ていきます。

要点

• 米国の司法試験では、GPT-4 が択一で人の受験者を上回り、約297点で合格ラインを超えたと報告された（Katz 2024）。
• 判例について一般向けの生成AIに質問すると、少なくとも58%の答えが法的な事実と食い違った（Dahl 2024）。
• 判例を検索して答える専門ツールでも、17%〜33%の割合で作り話が残った（Magesh 2025）。
• 条文を渡し、問いと答えの例を見せると正答は上がるが、専門の税務弁護士の水準には届かない（Nay 2024）。
• 試験の順位は比べる集団で変わり、7月の受験者を基準にすると69パーセンタイルを下回った（Martínez 2025）。
• 学習で見たことのない条文では、覚えた知識だけによる推論が崩れた（Blair-Stanek 2023）。

加持祈祷事件のような判例名を聞いたとき、何が起きるのか

判例の名前を聞けば、生成AIは事件の概要を教えてくれると思っている人は少なくありません。実際、司法試験の択一で人並み以上の点を取ったという報告があり、法律の知識があるように見えます（Katz 2024）。しかし、名前から中身を説明させる課題は、その報告とは別のものです。法律の試験で点を取る力と、事件の中身を説明する力は、問いの形が違います。

生成AIが原文や事実に無い内容をもっともらしく作ることを、ハルシネーションと呼びます。米国の裁判所の判例についての質問を、ChatGPT 4 などの一般向けのモデルに投げた研究では、少なくとも58%の割合で法的な事実と食い違う答えが出ました（Dahl 2024）。研究では、法域・裁判所・年代・事件ごとに答えを分けて調べています。同じモデルでも、質問の形や前提が変わると答えが変わることも示されました。

モデルは自分の作り話を見分けられず、質問者が持っている誤った前提も、そのまま受け入れる傾向がありました。質問者が誤った事件名や年を前提に尋ねると、その前提に沿った説明が返りやすいということです。事件の年や判決の結論が入れ替わる、という形の誤りが起こりえます。

名前を聞いて中身を取り違える現象に、この研究は最も近いところを調べています。対象は米国の判例と英語の質問で、問題も答えも英語です。教科書の脚注にある名前と、AIが返した説明が同じ事件を指しているかから確かめる必要があります。

司法試験に受かる力は、判例の理解を意味するのか

米国の統一司法試験（UBE）の全科目を、GPT-4 に事前の例示なしで解かせた研究があります。問題はすべて米国法に基づくもので、英語で書かれています。択一のMBEでは人の受験者と前の世代のモデルを上回り、前の ChatGPT と比べて26%高い成績でした（Katz 2024）。総合では約297点で、すべての法域の合格ラインを超えたと報告されています。

ただし、この研究が測ったのは、条文と選択肢から答えを選ぶ力です。特定の判例の名前を出して、事件の中身や判決の理由を説明させる課題は含まれていません。試験の点数が高いことと、判例の名前から中身を正しく言えることは、別の能力です。択一の点数は、判例の説明力とは別の物差しです。

税法の適用問題を数多く解かせた研究では、新しいモデルほど成績が上がりました。GPT-4 では、関係する条文を一緒に渡し、問いと答えの例を見せると正答が上がっています（Nay 2024）。著者自身は、専門の税務弁護士の水準には届いていないと書いています。条文を渡す条件と、渡さない条件を比べた点が重要です。

条文を渡す条件で正答が上がるということは、渡さずに記憶だけで答えさせたときの正確さは、その条件より低いということです。試験の点数は、判例の説明力を保証するものではありません。使われたのはGPT-4の世代で、今のモデルで同じ結果になるかは確かめられていません。モデルの世代が変われば、点数も誤りの出方も変わりえます。同じ点数でも、何を測った試験なのかで意味が変わります。

判例を検索する専門ツールでも、作り話は残る

検索して見つけた資料を根拠に答えさせる方式を、検索拡張生成（RAG）と呼びます。資料を渡すことで、モデルが記憶だけに頼る場面を減らせます。法律調査のために作られた有料のツールにも、この方式が使われています。検索の仕組みは、見つけた資料の中に答えがあれば助けになりますが、資料の選び方や読み取りを誤れば、誤りはそのまま残ります。

そうした専門ツールを、汎用のGPT-4と比べた事前登録つきの評価があります。検索つきで作り話は減ったものの、専門ツールはそれぞれ17%〜33%の割合で作り話を出しました（Magesh 2025）。提供元が示す精度の説明は、実際より高く見積もられている、と著者は結論づけています。事前に方法を登録して行う評価は、後から都合よく解釈されにくい設計です。

この研究が評価したのは、米国法の専門ツールです。検索つきの道具は、作り話を減らす効果はあるものの、消すところまでは届いていません。検索結果そのものが的外れなら、答えも的外れになります。検索結果の正しさを最後に確かめる仕事は、利用者に残ります。照らす作業では、引用された資料そのものを開きます。

検索つきの道具を選ぶときは、作り話の割合だけでなく、どんな資料を検索するのかも見る必要があります。資料の範囲が法律の専門家向けに限られていれば、学校の課題で扱う判例には届かないことがあります。道具の説明より、第三者の評価と対象を確かめるほうが役に立ちます。

条文を渡すと変わること、変わらないこと

GPT-3（text-davinci-003）に、事実と条文から結論を出す問題集を解かせた研究があります。問題集は、事実と条文を組み合わせて結論を出す形で、法律の知識と読み取りの両方が要ります。それまでの最高成績は上回りましたが、実在の米国の条文についての知識は不完全で、覚えている条文だけでは足りませんでした。学習で見たことのない簡単な条文では、成績が悪くなりました（Blair-Stanek 2023）。覚えている知識と、その場で条文を読んで推論する力は、別物です。

条文を渡すと正答が上がるという結果（Nay 2024）は、渡された条文を読む力が土台にあることを示します。条文を渡すNayの結果と、初見の条文で崩れるBlair-Stanekの結果は、矛盾しません。渡された条文を読む力が十分にあれば点数は上がり、読む力が足りなければ上がらない、という関係です。渡された条文の読み方そのものが崩れると、正答は上がりません。初見の資料を読ませる使い方では、答えを採用する前に、根拠の条文と照らす作業が要ります。

使われたGPT-3は2023年の研究で、現在のモデルとは世代が違います。同じ「条文を渡す」という条件でも、モデルと課題が違えば結果は変わります。渡す条文の範囲や、問いの形が違えば、点数も変わります。モデルの版と、何を渡し何と比べた条件なのかを確かめてから、結果の意味を判断する必要があります。条件の違いを並べると、結果の読み違いを減らせます。

成績の見え方は、比べる相手で変わる

GPT-4 の司法試験の成績について、発表の数字をそのまま受け取らず、比べる受験者の集団と論述の採点方法から検討し直した研究があります。司法試験の順位は、受験者の母集団が変われば動きます。Martínezは、発表で使われた集団と、7月の受験者・初回受験者の集団を分けて考えました。比べる相手を7月の受験者や初回受験者に替えると順位は下がり、7月の受験者のデータでは、総合のパーセンタイルは69を下回りました（Martínez 2025）。論述の点の付け方にも、方法上の問題があるとしています。

一方で、択一の点は再現できたため、法律問題に全く答えられないという主張の根拠にはなりません。同じモデルの成績でも、誰と比べるかで見え方が変わります。論述の採点は、同じ答案でも採点者や基準で点が動きやすく、再現性の確認が要ります。試験の結果を読むときは、点数だけでなく、比べた集団と採点の方法を確認する必要があります。点数だけでモデルの実力を決めることはできません。

この研究が測ったのは試験の成績で、判例の説明ではありません。判例の説明を測るには、事件名・争点・結論を問う別の課題が要ります。それでも、一度の発表の順位を固定された実力として受け取らない姿勢は、判例の話にも通じます。発表の数字を読むときは、いつ・誰と比べた結果なのかを一緒に見ると判断しやすくなります。試験の成績を読むときの見方は、他の分野の数字を読むときにも使えます。

教科書・資料集・判例集で確かめる手順

ここまでの研究の対象は、米国の法律問題です。よく言われることと、研究で言えることを並べると、次の表になります。比べた相手が違えば、同じ題材でも見える結論が変わります。

日本の判例を調べるときは、事件名・争点・結論の3点を、手元の資料で照らします。AIの説明は、その3点を探す手がかりとして使います。先に自分で3行を書き、AIの答えは後から照らす順番にすると、食い違いに気づきやすくなります。AIの説明だけを根拠にレポートを書く使い方は、避けたほうがよいでしょう。

1. 事件名は、教科書の索引か資料集で同じ表記の項目を引きます。
2. 争点は、何が争われたかを自分の言葉で1行にします。
3. 結論は、裁判所がどう判断したかを、判例集か資料集の要旨で照らします。
4. 食い違いは、AIの説明と自分の3行が合わない箇所だけ、先生の解説か教科書の該当箇所で確かめます。

AIへの頼み方の例は、「この判例の事件名・争点・結論を、それぞれ1行で書いてください。年と判決の結論が不確かな場合は、不確かだと書いてください」です。もう一つは、「あなたの説明のうち、教科書で確認できる部分と、確認できない部分を分けてください」です。どちらも答えの正しさを保証するものではなく、照らす作業を助けるための頼み方です。

保護者が見るところ

保護者が確かめられるのは、答えの正しさそのものより、確かめた形跡です。生成AIの説明をそのまま写したノートではなく、事件名・争点・結論を自分の言葉で書いたメモが残っているかを見ます。年・事件名・結論が、教科書か資料集の記述と合っているかも確かめられます。ノートの量ではなく、どこを資料で確かめたかが残っているかを見ます。確認の跡が一目でわかるメモだと、家庭でも点検しやすくなります。

• AIの説明に出典が示されているか。示されていても、その出典を自分で開いて確かめたか。
• 学校の課題で生成AIを使ってよい範囲を、子どもが自分の言葉で説明できるか。
• 判例の名前を聞いた後、自分で3行の説明を書けているか。

判例の名前をAIに聞くこと自体を止める必要はありません。入口として使い、最後は手元の資料で確かめる順番を、家庭でも一緒に見ておくとよいでしょう。教科書の該当ページを先に開いてからAIの説明を読む習慣があると、食い違いに気づきやすくなります。学校や教科によって、生成AIの利用に関する指示は異なります。その指示に沿って、家庭の約束も決めていきます。

家庭で声をかけるときは、事件名・争点・結論のどれが資料と合わないかを一緒に探すと、確認が進みます。AIの説明を否定することから始めず、資料と照らす手順を一緒に練習する姿勢が役立ちます。確認した日付をメモに添えておくと、後から見直すときに役立ちます。学校の指示が変わったときは、家庭の約束もそれに合わせて見直します。

よくある質問

生成AIが判例の名前を間違えるのは、日本語が苦手だからですか

ここで引いた研究の対象は、英語の質問と米国の判例です。誤りは言語の違いだけでなく、事件の知られ方や、条文を渡されたかどうかにも左右されました。判例名を聞くときは、言語の違いを疑うより、答えを資料で照らすほうが確実です。事件の知られ方によって、誤りやすい題材は変わります。英語だから正しい、日本語だから間違える、という単純な分け方では説明できません。

司法試験に受かるのなら、判例の説明も任せてよいのですか

司法試験の択一が測るのは、条文と選択肢から答えを選ぶ力です。判例の名前から事件の中身を説明する力は、別に確かめる必要があります。判例についての質問では、少なくとも58%の答えが法的な事実と食い違いました（Dahl 2024）。択一の点数だけでは、その力は測れません。点数が高いモデルでも、事件名・争点・結論の3点は資料で照らしてください。

判例集を持っていないとき、何で確かめればよいですか

教科書の索引、資料集の年表や用語解説、学校の図書館にある判例集、先生の解説が使えます。事件名・争点・結論の3点が、同じ方向を指しているかを確かめてください。AIの説明は、その3点を探す手がかりとして使えます。判例集そのものが手元に無くても、複数の資料で同じ記述を確かめれば、取り違えに気づきやすくなります。先生に聞くときは、AIの説明のどの部分が資料と合わないかを伝えると、確認が進みます。

生成AIの説明をそのままレポートに書いてもよいですか

学校の課題で生成AIをどこまで使ってよいかは、学校や教科の指示で異なります。使ってよい場合でも、説明を確かめずに写すと、誤りごと提出するおそれがあります。自分の言葉で書き直し、参照した資料を自分で示せる形にしてください。AIの説明は、下書きの材料ではなく、照らす前の候補として置いておくと扱いやすいです。提出前には、参照した資料の書名とページを自分で確かめます。

この記事の限界

判例の正確さを考える際に参照した数字は、いずれも米国の法律問題を対象にした研究から出たものです。Katz 2024 と Martínez 2025 は司法試験の得点を、Dahl 2024 と Magesh 2025 は判例についての答えの食い違いを数えており、数え方も比べた相手も同じではありません。

対象は米国の判例と英語の質問で、日本の最高裁判例や日本語の質問を調べた査読研究は見つかりませんでした。使われたモデルはGPT-4やGPT-3の世代で、その後モデルが入れ替わっています。判例の説明を提出する際は、教科の指示に沿って、事件名・争点・結論の確認に用いた資料を残します。

参考文献

1. Katz ほか. GPT-4 passes the bar exam. Philos Trans A Math Phys Eng Sci. 2024;382(2270):20230254.
2. Nay ほか. Large language models as tax attorneys: a case study in legal capabilities emergence. Philos Trans A Math Phys Eng Sci. 2024;382(2270):20230159.
3. Dahl ほか. Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. J Leg Anal. 2024;16(1):64-93.
4. Magesh ほか. Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. J Empir Leg Stud. 2025;22(2):216-242.
5. Martínez. Re-evaluating GPT-4’s bar exam performance. Artif Intell Law. 2025;33(3):581-604.
6. Blair-Stanek ほか. Can GPT-3 Perform Statutory Reasoning? Proceedings of the Nineteenth International Conference on Artificial Intelligence and Law (ICAIL 2023). 2023:22-31.

よくある質問