分詞構文の英文が正しいかを生成AIに判定させると誤りを見落とすのか｜文法の正誤判断の研究

塾帰りのかばんの中には、分詞構文の書き直しが残った英語のノートがあります。動詞の形を直すところまでは進んでも、文全体が正しいかという迷いは残ります。「giving 分詞 構文」と検索するのは、giveの現在分詞givingで始まる部分の働きや、文のつながりを確かめたいときです。分詞構文は、分詞を使って主節に状況などを添える表現です。givingで始める基本の形では、その動作をする人やものと、主節の主語が一致することを確かめます。

分詞構文の英文が正しいかを生成AIに判定させると誤りを見落とすのか｜文法の正誤判断の研究

塾帰りのかばんの中には、分詞構文の書き直しが残った英語のノートがあります。動詞の形を直すところまでは進んでも、文全体が正しいかという迷いは残ります。「giving 分詞 構文」と検索するのは、giveの現在分詞givingで始まる部分の働きや、文のつながりを確かめたいときです。分詞構文は、分詞を使って主節に状況などを添える表現です。givingで始める基本の形では、その動作をする人やものと、主節の主語が一致することを確かめます。

生成AIならすぐ判定が返るため、正しいと言われた英文をそのまま残してよいか、直された文を信じてよいかが気になるところです。英文の誤りを「正しい」と見落とす報告はありますが、人の文法判断とよく一致する報告もあり、判定だけで訂正を終えるのは早計です。研究を読むと、文の種類に加え、どう尋ねるか、何を正解として採点するかが関わっています。塾帰りに持ち帰る疑問も、英文全体への丸かばつかだけでなく、主語の対応や変更された語の役割まで分けると扱いやすくなります。

要点

• 誤った英文を正しいと答えやすい偏りの報告
• 同じデータを再分析し、人の判断との一致を示した反論
• 文法の種類と採点の基準による得意・不得意の違い
• 正誤判定、必要な訂正、自然な言い換えの区別
• 主語の対応と変更箇所を残す見直し

「正しい」と答えやすい偏りは報告されています

Dentella（2023）は、GPT-3のtext-davinci-002・003とChatGPTに英文の文法判定を求め、人80人が同じ課題に答えた結果と比べました。各文法現象について正しい文5文と誤った文5文を用い、それぞれを無作為な順序で10回ずつ繰り返し、モデルごとに800判定を集めました。研究でいう言語モデルは、大量の文章から語の並び方などを学んだ仕組みで、対話型の生成AIの土台です。ここで数えているのは生徒の作文の枚数ではなく、モデルから引き出した判定の数です。

この研究では、正しい文に対する判定は偶然の水準を上回る一方、誤った文に対する判定は偶然の水準を下回りました。どのモデルにも肯定の答えに寄る傾向があり、答えも安定しませんでした。同じ文を繰り返し尋ねても、正しい答えか誤った答えかを問わず、安定した判定へまとまる証拠は得られませんでした。誤りを見落とすという心配には、こうした英文の判定を直接調べた根拠があります。

学習で問題になるのは、直しが必要なところに訂正の印が付かないことです。AIから長い説明をもらっても、最初の判定が肯定に偏っていれば、疑っていた箇所をそのまま残すきっかけになります。これは研究結果から考えられる利用上の危うさであり、判定の文章が丁寧かどうかとは別に扱うほうがよいでしょう。正しいという返答を得た回数を数えるより、自分が何を疑っていたかを消さずに残すほうが、見直す対象を保てます。

また、誤りを探す課題では、正しい文を正しく認める力と、誤った文を退ける力を分けて見る必要があります。正しい例文への返答が納得できたからといって、書きかけの英文の点検まで済んだことにはなりません。自分のノートを点検する目的に近いのは、誤った文を扱った条件の結果です。研究の全体評価だけでなく、どちらの条件でつまずいたかが判断の材料になります。

同じデータでも採点の仕方で評価がわかれます

Hu（2024）は、先に見たDentella（2023）のデータを、確立した分析方法で評価し直しました。その結果、モデルは全体として高い正答率を示し、人が英文を判断するときの細かなばらつきも捉えていたと結論しました。これは、別の新しいモデルを試して旧モデルを上回ったという比較ではありません。同じデータの読み方をめぐって、モデルの能力の評価がわかれた反論です。

この対立は、文法の知識を持っているかという問いと、対話で返す判定をそのまま使えるかという問いを分けるきっかけになります。たとえば、全体の正答率に注目する読み方と、誤った文に肯定してしまう傾向に注目する読み方では、見たい点が違います。抄録には再分析の詳しい手順や正答率の値までは載っていないため、差の大きさを数字で並べることは避けます。比較するときは、研究の結論と比較の相手を組にして読むと筋道が見えます。

こうした評価のわかれ方を読む際には、問いの形と採点の形を一緒に記録すると役立ちます。単独の英文を正しいかと尋ねる課題、似た英文を見比べる課題、誤りを直す課題では、AIに求める出力が違います。学習者が知りたいのが訂正の要否なら、文章を自然に仕上げる能力だけを見て判断するのは目的がずれます。研究の肯定的な結果を使うときも、何ができたという結果なのかを狭く読むほうが、実際の使い道を選べます。

文の形の違いは得意でも構造の判断は別です

Warstadt（2020）は、少しだけ形を変え、文法的な許容度に違いが出る英文の組を集めた評価用データBLiMPを作りました。これは、モデルがどの文法上の違いを見分けるかを測る問題集です。対象にはGPT-2などChatGPT以前のモデルが入り、主語と動詞の一致に関わる形の違いはよく識別しました。一方、微妙な意味や文の組み立てに関わる現象には苦戦し、文法全体を同じ得意さで扱うわけではありませんでした。

Alsaweed（2024）は、英語を第二言語として学ぶ人の作文を材料に、ChatGPTによる誤りの発見と訂正を分類しました。動詞の形、語順、受動態、条件文、主語と動詞の一致などでは高い精度を示しました。冠詞、助動詞、時制の成績は中程度で、意味が不明な文、つなぎの語、文の構造、不自然な言い回しでは成績が低いという結果でした。作文を一括して良く直せるかと尋ねるより、何を直す作業だったかで読む必要があります。

分詞構文を見直すときにも、語の形に気を取られ、文のつながりの問題を取り残すことがあります。givingという形が目に入ったら、動作をする側を自分で書き出す作業と、綴りや語の並びを点検する作業を分けるのが実用的です。文の構造を点検したいのに、別の単語への交換ばかりを追っている場合は、元の疑問を見失っています。訂正案が読みやすくなっていても、気にしていた関係がどのように扱われたかを読む必要があります。

ここで挙げた研究は、文法を構成するいろいろな課題を区別する手掛かりになります。誤りの種類ごとに結果が違うなら、以前うまく訂正された英文の印象だけで、今回の判定を決める理由は弱くなります。自分の迷いを単語の形、文の構造、伝えたい意味のどこに置くかを決めておくと、AIへの依頼も絞れます。修正された量の多さを、そのまま点検の丁寧さの目印にしないことが肝心です。

訂正と自然な言い換えでは正解の基準が違います

Davis（2024）は、英語学習者の作文の文法訂正を、公開モデル7つと商用モデル3つについて、4つの標準的な評価用データで調べました。比較したのは、誤りの訂正専用に学習させた従来の仕組みです。言語モデルがそれを常に上回るという結果ではなく、商用モデルが上回ったのは、最小限の訂正よりも流暢さを重視した書き換えを正解とする条件でした。何を直せば点が付くかによって、成績の意味が変わっています。

最小限の訂正は、元の表現をできるだけ保ちながら誤りを直す考え方です。流暢さを重視する書き換えは、読みやすさや自然さも含めて文章を整えます。分詞構文を練習したいのに、AIの返した文が別の構造に変わっていれば、元の形が正しかったかという疑問が残ります。こうしたずれを避けるため、訂正を求める前に、分詞構文を残すのか、表現全体を変えてもよいのかを決めます。

Behzad（2024）は、Aya・Llama・GPTを使い、英文が文法的に正しいかを尋ねる指示の言語を変えました。英語、ドイツ語、韓国語、ロシア語、ウクライナ語で尋ねると、英文についての問いでも英語以外で尋ねたほうが良い結果になることが多くありました。対象の英文が同じでも、問いを包む言語が成績に関わったという報告です。英文だから英語で聞くのが最善だという単純な選び方を、この結果は支持していません。

学習者にとっては、判定が変わった際に、英文を変えたのか、頼み方だけを変えたのかを見失わないことが実用上の焦点です。指示を直すたびに元の英文も書き換えていると、何への判定だったか追えなくなります。気に入った答えが出るまで言語や表現を変える使い方より、元の文と依頼を残したほうが、返答の違いを読み取れます。利用するサービスの入力内容の扱いや利用条件は、英文を送る前にそのサービスの最新の説明で確認します。

「giving 分詞 構文」で迷ったら主語と変更箇所を残します

「giving 分詞 構文」と調べたあとにAIを使うなら、まず元の英文を上書きせずに残します。その下に、伝えたかった内容を自分の日本語で短く書きます。次に、givingの動作をする人やものと、主節の主語を別々に抜き出し、同じものを指すかを自分で点検します。わからないところは空欄のまま残し、AIに埋めてもらった部分と自分で読めた部分を混ぜないようにします。

AIへの依頼は、たとえば「文法の訂正と自然な言い換えを分け、変更箇所と理由を示してください」と短くします。返答を受け取ったら、元の英文と訂正案を上下に置き、追加、削除、置き換えのあった部分に印を付けます。文法書の分詞構文の例文と形を照らすのはこの段階で、主語の対応と、自分の文で変えた箇所を確認します。AIの判定を別の場所へ写すだけで終えず、自分が疑った部分への説明があるかを読みます。

訂正案の中で、伝えたい人や行動が変わっていたら、その案はひとまず採用を止めます。元の意味と、訂正後に読める意味を並べ、どこでずれたかを書き残します。必要なら「元の意味を保ち、分詞構文を残したまま必要な訂正だけ示してください」と追加で頼めます。これは点検する箇所を絞るための依頼で、返答に求める範囲を明示する使い方です。

自分で主語を拾えず、AIが挙げる訂正理由も読み取れない段階では、AIの判定で正誤を決める作業をいったん止めるほうがよいでしょう。その場合は、元の英文、伝えたい意味、判断に困った箇所を残し、人に質問する材料にします。訂正理由を読めないまま書き直すと、形だけ整った英文が手元に残り、元の疑問が埋もれるおそれがあります。塾帰りのノートに残すものは、完成した英文に加え、まだ決めていない箇所でもよいのです。

保護者は変更の理由を子どもの言葉で聞きます

保護者が見るところは、AIに直された英文のどこが、なぜ直ったかを、子どもが説明できるかです。全文を訳させたり、細かな文法用語を次々と尋ねたりする必要はありません。子どもが選んだ変更箇所について、元の表現と直った表現を指しながら、違いを言えるかに絞ります。説明の長さより、実際に変わった語や部分に説明が結びついているかを聞くほうが、今回の見直しの様子をつかめます。変更の理由が途中までしか言えないときは、その途中までを聞いてから待ちます。

子どもが単に自然になったと説明した場合は、文法上の直しなのか、表現の選び直しなのかを話題にします。難しい用語を使えても、どの部分を指しているのか曖昧なら、訂正箇所を指してから言い直す時間を取れます。反対に、短い説明でも変更箇所と理由が対応していれば、その説明を途中で専門用語に置き換える必要はありません。AIの文章を読み上げるだけになっているか、自分の言葉で変更を説明しているかが、見守る点になります。

研究の側にも、人の判断との一致を広く調べる試みがあります。Qiu（2024）は、分析の計画を先に登録する事前登録を行い、ChatGPTとVicunaの英文判定を人の判断と比べました。正誤の評価はかなり一致した一方、モデルは正しいとも誤りとも言い切らない控えめな判断を多く示しました。この結果の対象は、構造の異なる2400を超える英文でした。

よくある質問

AIの返答が曖昧なら、誤った英文という意味ですか

曖昧な返答だけを、誤りの印として扱うのは適切ではありません。先に見たQiu（2024）の結果のように、モデルの答え方には断定を控える傾向も含まれます。返答を読むときは、文全体について迷っているのか、意味の取り方に条件を付けているのかを分けると、疑問の所在がはっきりします。正誤を示す語が弱いというだけで全面的に書き換えず、AIが条件として挙げた部分を元の文の横に残します。

訂正案がたくさん出たら、全部取り入れるほうがよいですか

全部を取り入れることを目標にする必要はありません。先に見たDavis（2024）の結果を踏まえると、必要な文法訂正と読みやすさのための変更を区別して扱うほうが目的に合います。分詞構文を使う練習なら、その形を外した言い換えは別案として置き、元の文への訂正とは欄を分けます。変更を採用するときは、伝えたかった内容を保っているかも、訂正案ごとに読み直します。

判定が途中で変わったら、最後の答えを採用してよいですか

最後に出たという順番だけで採用を決めるのは避けます。先に見たDentella（2023）の結果は、同じ文を聞き直すことと判定が安定することを同一視する見方への注意になります。答えが変わったら、英文そのものを変更したのか、依頼の表現だけを変更したのかを書き分けます。どちらも同じなのに判定が割れた箇所は、最後の返答で上書きせず、未解決として質問用の記録に残します。

この記事の限界

適用範囲は英語の文法判定や訂正の課題が中心で、分詞構文だけを取り出した評価や、日本語を母語とする中高生の英文を扱う研究は今回集めた範囲にありませんでした。学習者の国・人数やモデルの版が抄録に記されていない研究もあり、AIの判定を信じた生徒が誤りを残すか、その後の学力がどう変わるかも測られていません。

日本語で質問した場合の成績や、学習を長く続けた場合の結果も、ここで引いた研究による裏づけの外にあります。Dentella（2023）が示した偏りがGPT-4以降の新しいモデルでも残るかの直接の検証や、日本の高校生が書いた英文の判定には、引いた研究の手がまだ届いていません。

参考文献

1. Dentella V ほか. Systematic testing of three Language Models reveals low language accuracy, absence of response stability, and a yes-response bias. Proc Natl Acad Sci U S A 2023;120(51):e2309583120. PMID 38091290 doi:10.1073/pnas.2309583120
2. Hu J ほか. Language models align with human judgments on key grammatical constructions. Proc Natl Acad Sci U S A 2024;121(36):e2400917121. PMID 39186652 doi:10.1073/pnas.2400917121
3. Qiu Z ほか. Evaluating Grammatical Well-Formedness in Large Language Models: A Comparative Study with Human Judgments. Proceedings of the Workshop on Cognitive Modeling and Computational Linguistics (CMCL 2024) 2024:189-198. doi:10.18653/v1/2024.cmcl-1.16
4. Warstadt A ほか. BLiMP: The Benchmark of Linguistic Minimal Pairs for English. Trans Assoc Comput Linguist 2020;8:377-392. doi:10.1162/tacl_a_00321
5. Alsaweed W ほか. Investigating the Accuracy of ChatGPT as a Writing Error Correction Tool. Int J Comput-Assist Lang Learn Teach 2024;14(1):1-18. doi:10.4018/ijcallt.364847
6. Davis C ほか. Prompting open-source and commercial language models for grammatical error correction of English learner text. Findings of the ACL: ACL 2024 2024:11952-11967. doi:10.18653/v1/2024.findings-acl.711
7. Behzad S ほか. To Ask LLMs about English Grammaticality, Prompt Them in a Different Language. Findings of the ACL: EMNLP 2024 2024:15622-15634. doi:10.18653/v1/2024.findings-emnlp.916

よくある質問