数Cの難易度を生成AIに聞くと自分にとっての難しさまでわかるのか｜問題の難しさの推定の研究

面談で問題集のページをめくる音が、勉強の進み具合を話す声の合間に響きます。取り組んだ問題を前にすると、次に進むか、同じ範囲を練習するか迷うことがあります。「数c 難易度」という検索語は、高校の数学Cがどのくらい難しいかを知りたいときの言葉です。数学Cにはベクトルや複素数平面などが含まれ、科目全体の印象と、目の前の問題を解く難しさは分けて考えられます。

数Cの難易度を生成AIに聞くと自分にとっての難しさまでわかるのか｜問題の難しさの推定の研究

面談で問題集のページをめくる音が、勉強の進み具合を話す声の合間に響きます。取り組んだ問題を前にすると、次に進むか、同じ範囲を練習するか迷うことがあります。「数c 難易度」という検索語は、高校の数学Cがどのくらい難しいかを知りたいときの言葉です。数学Cにはベクトルや複素数平面などが含まれ、科目全体の印象と、目の前の問題を解く難しさは分けて考えられます。

生成AIに問題を見せれば、自分に向いた段階まで判断してくれるかどうかが気になるところです。問題の難しさを推定する研究はありますが、生成AIの評価だけで自分にとっての難しさまでわかるとは言えません。研究で使う集団の正答率と、自分がどこで考えを進められなくなったかでは、見ているものが違います。面談に持ち込む材料も、AIが付けた段階だけでなく、実際に解いた跡まであると相談の焦点が定まります。難易度の言葉を受け取る前に、その評価が誰の解答を基準にしたものなのかを見ていきます。

要点

• 問題文から難しさを推定する研究には、集団の解答傾向とよく対応した方法があります。
• AI自身の得点が高くても、人がどの問題で誤るかの予測が正確になるとは限りません。
• 自分の手応えにもずれがあり、解く前の予想と解いた結果を分けて残す意味があります。
• 面談では科目全体を難しいと評するより、止まった問題とその箇所を示すほうが相談の材料になります。

「数c 難易度」で知りたいのは、誰にとっての難しさか

問題集の難易度表示には、問題を選ぶ目安としての役割があります。ただし、表示を読むときには、既に習った内容を使う人を想定しているのか、初めてその考え方に触れる人を想定しているのかが気になります。同じ問題でも、必要な知識を使える人と、記号の意味を思い出す段階にいる人では、取り組む際の負担が違います。問題の見た目の複雑さだけを見ても、解く人の準備までは読み取れません。

Benedetto（2023）は、問題文から難しさを推定する研究分野をまとめた総説です。総説は、ある方法を試した実験だけでなく、その分野の研究をまとめて見渡す論文です。この研究が扱うのは、文章を計算機で処理して問題の難しさを数値や段階として推定する方法であり、受験者の集団が基準になります。問題文の特徴から難しさを扱う方法が研究されていることと、面談中の生徒の解け方を見抜けることの間には、評価する対象の違いがあります。

たとえば、正解した人の割合で問題を並べる場合、その並びは集団の成績を表します。一方、自分にとって知りたいのは、条件を読み取れるか、使う考え方を選べるか、最後まで進められるかという具体的な状態です。集団では易しい側の問題でも、自分が未習の内容を含めば着手しにくくなります。逆に、集団で難しい側にある問題でも、よく練習した考え方と結び付けば取り組む入口が見えることがあります。

「数c 難易度」とだけ尋ねたときは、科目全体の評判、問題の段階、個人の困り方が混ざりやすくなります。生成AIに評価を求めるなら、何を判断してほしいのかを先に区別する必要があります。難しさの段階を知る用途と、自分の解答からつまずきを説明する用途では、渡す材料も、受け取った答えの使い道も変わります。

生徒を演じるAIから、集団の解け方を推定する研究

Park（2024）は、生成AIに学力の異なる生徒を演じさせ、その解答から問題の難しさを推定するLLaSAという方法を提案しました。調べた対象は、DBE-KT22とASSISTMents 2005–2006の問題です。これらは、方法の性能を比較するための問題や記録を集めた評価用データです。生徒の解答記録を使った追加の学習をしない版でも、有力な比較手法と同程度の成績を示しました。

この方法は、生成AIに普通の会話で難易度を答えさせる使い方より、評価の手順が具体的です。異なる学力を設定したAIの解答を集め、そこから問題の難しさを求めています。求めた値を、実際の生徒の解答記録から計算した難しさと比較した点が、単に評価の説明がもっともらしいかを読むこととの違いです。生徒らしい言い方が出たかではなく、人の記録とどう対応したかを調べています。

比較には項目反応理論という、解答記録から問題の難しさと解く側の力の関係を表す方法が使われました。Park（2024）は、この方法による曲線との高い相関を報告しています。相関は、比べる値がどの程度対応して変わるかを見る指標です。この結果は、集団に向けた問題の難しさを推定する道具としての可能性を示します。

この仕組みを日常の利用へ読み替えるときには、評価までの工程が見落とされがちです。生徒を演じさせる指示を送るだけでなく、解答を集め、難しさを計算し、人の記録と比べる工程があります。チャットに自分の学年を書き添えて返事を得る操作は、その工程全体を実施したことにはなりません。研究で確かめられたのがどの操作までかを区別すると、AIの返事に期待する役割も具体的になります。

高得点のAIでも、人が難しい問題は当てにくい

Buhl（2025）は、麻酔科の多肢選択問題を、生成AIと臨床研修医で比べました。多肢選択問題は、並んだ選択肢から答えを選ぶ形式です。対象のモデルはChatGPT-4o、o1-preview、Claude 3.5 Sonnet、Grok-2、Llama 3.2です。モデルの平均点は58%〜85%で、研修医の57%を上回りました。

ところが、Buhl（2025）が問題ごとの難しさとの対応を調べると、3モデルの相関は弱く、r = 0.28-0.29でした。rは相関の強さを表す記号で、得点そのものとは別の指標です。さらに、最も得点の高かった2モデルでは相関がありませんでした。著者は、能力が高くなるほど人の成績を予測する力が下がる可能性を指摘しています。

ここでの難しさは、AIに難易度を言葉で尋ねた答えではなく、AI自身が問題を解いた正答率から見ています。先に見たPark（2024）の結果と読む際には、難しさを得る方法が違う点が重要です。比較の基準を次の表に並べると、生成AIを使った研究というだけでひとまとめにできない理由が見えてきます。

自分の手応えも、そのまま成績にはならない

生成AIの評価から離れて、自分の感覚に目を向けても、見積もりの問題は残ります。Erickson（2015）は、高校生と大学生を対象に、生物・文学・数学のテストの前後で、自分の成績を見積もらせました。数学では他の教科より自信過剰が大きく、著者は自信過剰と不安の両方が、自分の認知の状態を捉える力を妨げうると述べています。この力はメタ認知と呼ばれ、自分がどれくらい理解し、できているかを見積もる働きです。

難しいと感じたことは、本人が受けた負担についての大事な手掛かりです。ただし、その負担と答案の正しさは別に記録できます。取りかかりに迷っても最後まで解けた場合と、すらすら進んだのに答えが違った場合を分けると、感覚だけでは見えなかった違いが残ります。面談で扱うときも、自信の強さを能力の評価へ直結させず、予想と結果の組を話す材料にします。

人が他人の難しさを見積もる場面にも研究があります。Fakcharoenphol（2015）は、大学の入門力学の試験問題について、物理教育の専門家、大学院生の助手、初学者の判断を実際の成績と比べました。内容に詳しい人ほど難しさの判断が正確で、見積もる力は経験とともに育つという結論でした。人についてのこの結果とAIの高得点を同一視せず、誰が何を根拠に予測したかを読む必要があります。

Hartwig（2017）は、大学の統計学で単元ごとの理解度の見積もりを扱い、その正確さを高める方法を開発する重要性を結論に挙げています。これは、自己評価をただ尋ねるだけでなく、その評価の正確さ自体を検討する研究の視点です。これらの人の研究は生成AIの利用効果を測ったものではなく、予想する側にも検討すべき働きがあることを考える材料です。AIの評価と自分の感覚が一致したときも、それを答案のできと同じ記録にまとめず、別々に残すほうが食い違いを追えます。

難易度の返事を学習の選別に使う前に

生成AIの難易度評価をそのまま受け入れると、取り組む問題の選び方に影響します。易しいと評価された問題で止まったとき、必要な知識をまだ使えていないだけなのに、自分の能力全体が低いと受け取るおそれがあります。反対に、難しいと評価された問題を、解き始める前から避けてしまうことも考えられます。これは評価を使う際に注意したい筋道であり、難易度の言葉から本人の適性まで広げないための区別です。

自分でどこまで解けるかを調べたい場面では、先にAIの難易度や解答を見ないほうが、何に助けられたかを分けやすくなります。まず、解く前に予想した状態を短く残し、問題に取り組みます。解いた後には、最後まで進めたか、手が止まったか、解説を見てから進めたかを書き分けます。予想を結果に合わせて書き直さず、見積もりが外れた箇所も残します。

答えの正誤は問題集の解答と照らし、難しさの評価とは別に扱います。途中で止まったときは、最後に自力で書けた行と、その次にしようとして迷った操作を残します。解説を読めば理解できた場合も、読まずに思い付けた場合とは区別します。問題文の読み取りで止まったのか、考え方の選択で止まったのかが見えると、難易度の段階を上げ下げする話だけで終わらずに済みます。

その記録を整理する補助として使うなら、「この解答記録から、止まった箇所と不足していそうな知識を分けてください」と短く頼む方法があります。返ってきた内容は自分の解答に印を付けた箇所と対応させ、書いていない行動をAIが補っていないかを見ます。使う前には、そのサービスの現在の説明で、入力内容の扱いを確認します。記録を渡すときも氏名などを含めず、問題と自分が行った操作に絞ります。

面談では、保護者は止まった箇所に目を向ける

保護者が見る点は、難しいと言ったときに、子どもがどの問題のどの一行で止まったかを示せるかです。科目の得意不得意をすぐに結論にするより、開かれた答案の中に話題の場所があるかを見ます。説明が長く続く必要はなく、指で箇所を示すことも具体化の入口になります。書き始められなかった問題なら、問題文のどの条件を使えばよいか迷ったのかが、示す場所になります。

止まった行が見えたら、保護者はそこで子どもの言葉を待ちます。大人が先回りして原因を並べると、本人がどこで迷ったかという話が、その説明への同意に置き換わることがあります。式を選べなかったのか、式を選んだ後の操作で困ったのかを、本人が示した範囲で受け取ります。ここで知りたいのは、大人が解けるかどうかではなく、子どもの作業がどこまで進んでいたかです。

生成AIの評価と本人の言葉が食い違う場合も、面談をどちらが正しいかの判定にする必要はありません。AIは問題の特徴について述べ、本人は自分の取り組みについて話している可能性があります。評価の段階を言い直させるより、本人の説明が問題文や答案の箇所につながっているかを見ます。困り方の名前がうまく出なくても、止まった場所を共有できれば、相談相手はそこから説明を求められます。

面談の資料に残したいのは、難易度のラベルだけが並んだ一覧より、解く手が止まった跡です。保護者は問題集を開いたまま、子どもが示した行に目を向けます。ページをめくる手が止まり、できなかったという大きな話が、紙の上の具体的な箇所へと変わります。目の前にあるのは科目全体への判定ではなく、子どもが迷った場所の印です。

よくある質問

高性能な生成AIを選べば、難易度の予測もよくなりますか

解答の得点の高さだけでは、難易度を予測する用途に適しているかを選べません。先に見たBuhl（2025）の結果は、解ける力と人の解け方を予測する力を区別する理由になります。比べる際には、AI自身が何点取ったかに加え、人の問題ごとの成績とどう対応したかという評価が必要です。性能の順位だけが示されている場合は、その情報が難しさの予測まで検証しているのかを分けて読みます。

AIに学力の低い生徒を演じさせれば、自分向けになりますか

学力の段階を指定するだけでは、自分が習った内容や解き方まで同じ条件にはなりません。Park（2024）の方法は、役を設定した解答から集団に向けた難しさを求め、人の記録と比較しています。自分向けという言葉で評価するなら、同じ段階の役を作ったことに加えて、その人の実際の解答と予測がどう合うかを見る工程が要ります。役を演じる返事と、個人について検証された予測は区別して受け取ります。

難しく感じたのに正解した問題は、易しいと記録しますか

難しく感じたことと正解したことを、そのまま別の欄に残します。無理にどちらかの評価へそろえると、手応えと結果の食い違いが消えてしまいます。たとえば、解き始めるまでに迷った場合と、途中の操作を何度も戻って考えた場合では、負担があった場所を別に書けます。解説やヒントを使った場合も記録に添え、次に解くときに、同じ助けが必要だったかを比較できる形にしておきます。

この記事の限界

対象は、評価用データの問題、麻酔科の試験、大学の入門力学などにわかれ、ParkとBuhlが基準にしたのは集団の正答の傾向であり、数学Cの問題と日本の高校生を組み合わせた検証は、今回集めた研究にはありませんでした。人の自己評価を扱った研究についても、日本の中高生の数学での見積もりを測った結果は含まれず、国や人数が抄録に明記されていないものがあります。

取り上げたモデルの結果が現在のモデルや日本語の質問でも続くか、また解答履歴を渡した個人向けの予測が当たるかは、ここで引いた研究の検証範囲を越えています。AIの見積もる難しさと、その生徒にとっての難しさが一致するかは、問題の難しさを推定する研究とは別の問題です。

参考文献

1. Benedetto L ほか. A Survey on Recent Approaches to Question Difficulty Estimation from Text. ACM Comput Surv. 2023;55(9):1-37.
2. Park J ほか. Large Language Models are Students at Various Levels: Zero-shot Question Difficulty Estimation. Findings of the Association for Computational Linguistics: EMNLP 2024. 2024:8157-8177.
3. Buhl LK ほか. The answer may vary: large language model response patterns challenge their use in test item analysis. Med Teach. 2025;47(11):1761-1766.
4. Fakcharoenphol W ほか. Judgments of physics problem difficulty among experts and novices. Phys Rev ST Phys Educ Res. 2015;11(2):020128.
5. Erickson S ほか. Metacognition and confidence: comparing math to other academic subjects. Front Psychol. 2015;6:742.
6. Hartwig MK ほか. Category learning judgments in the classroom: Can students judge how well they know course topics? Contemp Educ Psychol. 2017;49:80-90.

よくある質問