語彙力の推定テストが重いとき生成AIの単語テストで力は測れるのか｜語彙の量を測る研究

「書かれた語の受容的な語彙の広さを測る範囲を大きく広げる新しい道具になる」。2010年に語彙サイズテストの妥当性を検討した論文は、結論をこう締めくくっています。自室の机で推定テストの画面を開いたまま、読み込みの表示が動かないまま数分が過ぎるのは、テストを受ける前から気持ちを削ぐ時間です。テストが開かないだけで今日の学習をやめてしまうと、測る機会そのものが遠のきます。

語彙力の推定テストが重いとき生成AIの単語テストで力は測れるのか｜語彙の量を測る研究

「書かれた語の受容的な語彙の広さを測る範囲を大きく広げる新しい道具になる」。2010年に語彙サイズテストの妥当性を検討した論文は、結論をこう締めくくっています。自室の机で推定テストの画面を開いたまま、読み込みの表示が動かないまま数分が過ぎるのは、テストを受ける前から気持ちを削ぐ時間です。テストが開かないだけで今日の学習をやめてしまうと、測る機会そのものが遠のきます。

画面が動かない時間に、別の方法で測れないかと検索したくなる気持ちもわかります。語彙力の推定テストが重くて開けないとき、生成AIに単語テストを作らせれば自分の語彙の量を測れるのではないか、と考える人は少なくありません。先に結論を書くと、生成AIが作った単語テストは語彙の量を測る物差しとしてはまだ頼れず、覚えているかを確かめる練習の道具として使うのが現実的です。 語彙の量を測る研究が何を確かめてきたのかを、テストの作り方とAIの得意不得意に分けて見ていきます。

要点

• 人が設計し妥当性を検討した語彙サイズテストは、日本語母語話者178人を含む検証で高い信頼性を示した（Beglar 2010）。
• 選択式の語彙テストは推測と語族のまとめ方で語彙数が多めに出る（Stewart 2014、Stoeckel 2021）。
• 問題の難しさを生成AIに直接当てさせるのは苦手で、特徴を抜き出して別のモデルで予測すると精度が上がった（Li 2025、Razavi 2026）。
• 生成AI自身の語彙知識には穴があり、成績はモデルと言語で違った（Martínez 2024）。
• 語彙数を測る目的では検証済みのテストを時間をおいて受け直し、AIの単語テストは練習と確認に使う。

語彙力の推定テストが重いときに何が起きるのか

語彙サイズテストは、提示された語をどれだけ知っているかを、限られた数の問題から全体に広げて推定する仕組みです。すべての語を一問ずつ聞くのは現実的でないため、代表的な語を選び、その正答率から語彙の総量を見積もります。このとき、選ばれた語が全体をどれだけ代表しているか、正答が本当に知識を反映しているかが、推定の精度を左右します。テストが開かないとき、代わりの道具を探す前に、その道具が何を測っているのかを知っておくと、結果の受け取り方が変わります。

語彙の量は、読解の負荷や教材のレベルを考えるときの目安になります。だからこそ、出てきた数字が一人歩きすると、実際の読解力や文脈の中で語を使う力と取り違えられます。受けられない時間が続くと、学習の計画そのものが止まりやすいものです。生成AIならその場で問題を作れる、という期待が生まれるのは、ちょうどこの隙間です。

語彙の量として示される数字は、たいてい「見て意味がわかる語」の数を指します。自分で文を書くときに使える語、文脈に合う形で選べる語とは別の力です。推定テストの結果を読むときは、どの種類の知識を数えた数字なのかを一緒に見ておくと、読解の不安と結びつけすぎずに済みます。テストが重いときに別の道具へ移るとしても、測っている対象が同じかどうかは、数字より先に確かめたいところです。測りたい対象と、テストが数えている対象がずれていれば、点数がよくても不安は消えません。

人が作った語彙サイズテストは何を確かめてきたのか

人が設計した語彙サイズテストの妥当性を、Rasch モデル（回答の難しさと人の力を同時に推定する統計の方法）で検討した研究があります。英語母語話者19人と日本語母語話者178人が参加し、項目は高い一次元性を示して、モデルが分散の85.6%を説明しました。項目の組み合わせを変えても、Rasch の信頼性指数は0.96を超え、この参加者の集団では精密に測れていたと報告されています（Beglar 2010）。作り方を検証したテストであれば、日本の学習者を含む集団でも安定した測定ができる余地がある、ということです。

ただし、この研究が比べたのは別の項目の組で得られる推定値どうしであり、他の形式のテストや実際の読解力との一致ではありません。参加者の学年が大学生か中高生かも抄録からはわからず、生成AIは関係していません。それでも、語彙の量を測る道具を評価するとき、項目のまとまりと信頼性を確かめるという考え方は基準になります。

検証の研究では、何と比べたかが結論の重みを決めます。同じテストでも、別の語彙テストと比べるのか、読解の成績と比べるのか、時間をおいた再テストと比べるのかで、見えてくる姿は変わります。語彙の量を測るテストを選ぶときは、点数だけでなく、何を基準に妥当だとされたのかまで目を通す必要があります。母語話者19人を基準に置いた点も、この研究の性格を表しています。検証の範囲がどこまでかを知ることは、表示された数字を過信しないための基本になります。

選択式のテストは推測で語彙数が多めに出る

選択式の語彙テストには、正答が知識より多く出る構造的な問題があります。Stewart は、語彙サイズテストの素点に100か200を掛けて語彙数に換算する設計を取り上げ、当て推量で正答が増えた分がそのまま掛け算に乗ると指摘しました。選択肢が複数あれば偶然の正答が一定の割合で混じり、それが語彙数としては大きな差になって表れます。同論文は、選択式が受動的な認識を測るもので、本物の英文を読む経験には近くないと論じています（Stewart 2014）。

Stoeckel ほかは、語彙サイズテストと語彙レベルテストの不正確さの原因を三つに整理しました。選択式で推測や解答の工夫により知識が多めに出ること、一つの語形がわかれば同じ語族の語もすべてわかるとみなして多めに出ること、少数の語の抽出では全体を代表しにくいことです。結論は、既存のテストは多くの用途に必要な精度に足りない、というものでした（Stoeckel 2021）。

どちらの論文も新しい実験ではなく、生成AIを調べたものでもありません。それでも、人が作って検証してきたテストにこれだけの限界があるなら、生成AIがその場で選んだ少数の語から語彙数を推定する方法は、似た問題をさらに強く抱えると推測できます。問題数を増やせば解決するとも限らず、語の選び方そのものが検証されていなければ、数字の土台は薄いままです。語彙数を聞かれたときに、どの形式で、何語から選んだ問題かを言えない数字は、目安としても扱いにくいものです。

機械が問題の難しさを当てるとどこまで正確か

問題の難しさを機械で推定できれば、試行試験を重ねずにテストを作れます。Settles ほかは、機械学習と言語モデルで項目の難しさを推定し、人を使った試行なしに適応型の英語力テストを組み立てたと報告しました。得点は他の高い重みの英語試験と大きく一致し、信頼性も高いとされています。ただしこれは開発元自身の報告で、抄録に相関の具体的な値はなく、使われたのは対話型の生成AIではなく専用に設計された統計モデルです（Settles 2020）。

Razavi ほかは、幼稚園から小学5年までの算数と読解の問題5170問で、LLMに問題の難しさを予測させました。LLMに直接答えさせると中程度から強い相関はあったものの、学年が低いほど外れやすく、LLMに特徴を抜き出させて別の統計モデルで予測する方法がより正確で、相関は r = .87 に達しました。対象は英語の語彙テストでも中高生でもありません（Razavi 2026）。

Li ほかは、大規模試験の問題の難しさを言語モデルで予測し、小さなモデルを追加で学習させたほうがよく、GPT-4 などの大きな LLM は難しさの予測が苦手だったと報告しました。段階を追って考えさせる頼み方でも大きくは改善しませんでした。GPT-4 の結果が、その後さらに新しいモデルで同じようになるかを確かめた研究は、今回の範囲では見つかりませんでした（Li 2025）。

三つの研究を並べると、機械が難しさを当てる力は、何を入力にするかで大きく変わる姿が見えます。問題そのものを渡して「難しいか」と聞くより、語の長さや出現頻度、文の構造といった手掛かりを抜き出してから予測するほうが安定していました。生成AIに単語テストを作らせるときも、難しさの表示をそのまま信じるのではなく、どうやって難しさを見積もったのかを確かめる必要があります。

生成AI自身の語彙知識にも穴がある

Martínez ほかは、7つの LLM に2つの形式の語彙テストを2つの言語で解かせ、モデルの語彙知識に「意外な穴」を見つけました。成績はモデルと言語で異なり、同じモデルでも形式が変わると結果が変わっています（Martínez 2024）。これは人の語彙力を測った研究ではなく、AI自身の語彙の弱さを示したものです。裏を返せば、AIが単語テストを作るときにも、語の意味の取り違えや難しさの見積もりのずれが混じりうる、という傍証になります。

問題を作る側に穴があれば、正答も、難しさの表示も、採点の基準も同じだけ揺らぎます。とくに、学習者が知らない語を「知っている語」として扱ったり、逆に易しい語を難問として並べたりすると、点数は語彙の量ではなく問題作成の癖を映します。Martínez の研究で使われたモデルには Llama 2 や Mistral、GPT が含まれ、その後さらに新しいモデルでは穴の現れ方も変わりうるものです。生成AIの単語テストを語彙数の測定に使うとき、この点は無視できません。

一方で、AIが作る問題のすべてが外れるわけではありません。語の意味を説明させ、こちらが辞書と照らして確かめる使い方なら、知らなかった語に気づくきっかけにはなります。測る道具として使うか、練習の素材として使うかで、同じ出力の意味はまったく変わります。同じ語でも、定義を問うのか、文中での使い方を問うのかで、AIの正答は変わります。

生成AIの単語テストに向く使い方と向かない使い方

数字が一人歩きしやすいのは、テストの結果が順位や合否と結びついて見えるからです。語彙数が何千語という数字で表示されれば、それが何語から何語を数えた数字なのか、どんな形式で聞いたのかを確かめずに、実力の証明のように受け取ってしまいます。研究が示しているのは、その数字を作る工程のどこにも誤差の入り口がある、ということです。

向く使い方は、知らない語に出会うこと、思い出す練習をすること、辞書を引くきっかけを作ることです。覚えているかの確認を短い間隔で繰り返せば、自分の抜けを見つけやすくなります。向かない使い方は、語彙数の記録、教材のレベル決め、進路の判断、人と比べるための測定です。多めに出た数字を信じると、実際には知らない語を飛ばして先に進み、あとで読解でつまずきます。覚えたつもりが残るのも、この使い方の怖いところです。

使わないほうがよい場面もはっきりしています。学校や塾の課題として語彙数を報告する必要があるとき、教材のレベルを決める会議に数字を持ち込むとき、AIが作った問題の誤りをそのまま正しい知識として覚えそうなときです。このような場面では、作り方が公開され、検証の報告があるテストか、手元の教材と辞書に戻るほうが安全です。

自分で確かめる手順と保護者が見るところ

まず、測りたいものを一文で決めます。読解の負荷を知りたいのか、教材のレベルを選びたいのか、入試までの目安がほしいのかで、必要なテストは変わります。次に、語彙数を測る目的なら、作り方が公開され、妥当性の検討が報告されているテストを選びます。同じテストを時間をおいて受け直し、前回との変化を見れば、点数の上下を一回の結果で決めつけずに済みます。

生成AIの単語テストは、練習と確認に限定して使います。間違えた語は、正答を覚えるのではなく、辞書で語義と例文を確かめ、翌日にもう一度自分に問い直します。指示文は短く具体的にするほうが扱いやすく、次の二つで足ります。「教科書の単元の語から、意味を問う選択式の確認問題を作って」「この問題の選択肢が正しいか、辞書の語義と照らして見直して」。指示文を工夫しても、答えの正しさが保証されるわけではありません。

保護者が見るところは、点数の高低より、問題の出どころと間違えた後の処理です。問題を誰が作り、どの語から選んだのか、間違えた語を辞書で確かめているのか、結果を語彙数として記録していないのかを確認します。テストの点だけで教材のレベルを決めていないか、学校の課題でAIを使う規則を守っているかも、あわせて見ておきたい点です。子どもが語彙の数字を気にしすぎているときは、数字の作り方まで一緒に確かめると、不安が少し軽くなります。記録を残すなら、点数ではなく、間違えた語とその意味を書き留めるほうが次につながります。

よくある質問

生成AIに作らせた単語テストで、自分の語彙数はおおよそわかりますか。

おおよその目安としても、今の研究からは勧められません。AIが選ぶ語の難しさにはばらつきがあり、選択式なら推測で多めに出ます。どの語を選んだか、どんな形式で聞いたかが示されない限り、その数字を語彙数として受け取ることはできません。検証済みのテストを時間をおいて受けるほうが、変化を追いやすくなります。一度の結果で判断しないことも大切です。

推定テストが開かないとき、代わりに何を使えばよいですか。

同じ目的のテストを別の日に受ける、紙の問題集や教材で語の理解を確かめる、といった方法があります。形式の違うテストに替えると点数は単純には比べられないため、同じ形式を続けるほうが変化を見やすいです。語彙数を出すことより、どの語がわからなかったかを記録するほうが次に使えます。記録を残すなら、点数より間違えた語の一覧のほうが役に立ちます。

生成AIの単語テストは、まったく使わないほうがよいですか。

練習や気づきには使えます。知らなかった語を辞書で引くきっかけになり、自分の説明の抜けも見つかります。短い間隔で問い直せば、覚えているかの確認にもなります。向くのは、毎日の短い確認や、読む前に語の意味を押さえる場面です。ただし、その結果を語彙数として記録したり、教材のレベルを決めたりする用途には向きません。

子どもがAIの単語テストばかりやっています。保護者は何を見ればよいですか。

問題の出どころと、間違えた後の処理を見てください。正答数より、間違えた語を辞書で確かめ、翌日にもう一度自分に問い直しているかが手掛かりになります。テストの点数を語彙数として受け取らないことも大切です。使っている教材の説明に、何を測るテストなのかが書かれているかも確かめてください。点数はその日の調子でも動くからです。

この記事の限界

語彙の量を測る研究には、日本語を母語とする参加者の英語テストもありますが、学年が抄録からわからないものや、語彙以外の問題の難しさを評価したものが含まれます。日本語の語彙力を測るテストや、日本の中高生が生成AIの単語テストを使う場面を調べた研究は見つかりませんでした。研究の多くは短期間の課題で、長く使ったときの語彙の伸びまでは追っていません。

使われたモデルは GPT-4 や Llama 2、Mistral などで、その後さらに新しいモデルでは結果が変わる可能性があります。語彙数の提出を求められる課題では、学校が指定したテストと実施条件に従います。

参考文献

1. Beglar. A Rasch-based validation of the Vocabulary Size Test. Language Testing. 2010;27(1):101-118.
2. Settles ほか. Machine Learning–Driven Language Assessment. Transactions of the Association for Computational Linguistics. 2020;8:247-263.
3. Razavi ほか. Estimating item difficulty using large language models and tree-based machine learning algorithms. International Journal of Artificial Intelligence in Education. 2026;36(3):100015.
4. Stoeckel ほか. Limitations of size and levels tests of written receptive vocabulary knowledge. Studies in Second Language Acquisition. 2021;43(1):181-203.
5. Stewart. Do Multiple-Choice Options Inflate Estimates of Vocabulary Size on the VST? Language Assessment Quarterly. 2014;11(3):271-282.
6. Li ほか. Item Difficulty Modeling Using Fine-tuned Small and Large Language Models. Educational and Psychological Measurement. 2025;85(6):1065-1090.
7. Martínez ほか. Establishing vocabulary tests as a benchmark for evaluating large language models. PLoS One. 2024;19(12):e0308259.

よくある質問