英文の書き換え問題を生成AIに解かせると意味のずれた答えが出るのか｜言い換えの研究

電車の座席で問題集を開き、英文の書き換えの空欄と、スマートフォンに出た生成AIの答えを見比べます。単語は見覚えのあるものばかりなのに、解答欄の形と少し違うと、そのまま写してよいか迷います。自然に読める英文なら、元の文と同じ意味と考えてよいのでしょうか。生成AIの書き換えには、直しすぎや時制などのずれが入りうるので、英文の自然さとは別に、元の意味と問題の条件を照らす必要があります。

英文の書き換え問題を生成AIに解かせると意味のずれた答えが出るのか｜言い換えの研究

電車の座席で問題集を開き、英文の書き換えの空欄と、スマートフォンに出た生成AIの答えを見比べます。単語は見覚えのあるものばかりなのに、解答欄の形と少し違うと、そのまま写してよいか迷います。自然に読める英文なら、元の文と同じ意味と考えてよいのでしょうか。生成AIの書き換えには、直しすぎや時制などのずれが入りうるので、英文の自然さとは別に、元の意味と問題の条件を照らす必要があります。

たとえば、必要な行動だけを述べたつもりが、相手への強い命令のようになっていれば、話題が同じでも伝える内容は変わります。一方で、問題集の解答と単語が違っても、意味を保った別の表現という場合があります。この違いを扱う手掛かりになるのが、文法の誤りを直す研究と、言い換えを作る研究です。答えの見た目だけで丸を付けず、変更された語をたどることで、どこまで採用するかを考えられます。

要点

• 文法の訂正では、生成AIが必要以上に文を変える傾向が報告されています。
• 英語の意味をおおむね保った結果もあり、他の言語で起きた意味の変更と区別して読む必要があります。
• 指示と例で直し方を制御できた研究と、指示を工夫しても直しすぎが残った研究があります。
• 元の文、AIの答え、問題集の解答を並べ、変更箇所と設問の条件を照合します。

英文の書き換えで見る、意味と解答の形

同じ意味に書き換える問題では、英文として成立することに加えて、元の内容を保つことが求められます。さらに、書き出しや使用する語、空欄の位置などが指定されていれば、その形にも合わせます。自由な英作文を読みやすく整える作業と違って、勝手に情報を補うことは答えの質を上げるとは限りません。「もっと自然に」という頼み方だけでは、守ってほしい条件がAIに伝わらないまま、文全体が作り直される可能性があります。

見るべき違いには、語の置き換え、文の組み立ての変更、伝える内容の変更があります。語順が大きく変わっても、誰が何をするかが同じなら、内容を保った候補として検討できます。反対に、変わった語が少なくても、否定や時制に関わる部分なら、元の文との関係を丁寧に読む必要があります。変更の量だけを目安にせず、変更された部分が文の中で担う役割を見ます。

Wahle（2023）は、言い換えを作ったり見分けたりする手法を、語や構文のどの部分を変えるかという種類に分けて調べました。構文とは、主語や動詞などを組み合わせる文の形のことです。研究では、意味の似た内容を生成・検出することは得意でも、操作している言語上の要素の理解には弱さがあると報告しています。手法の規模を大きくすると改善も見られたため、単に文章が作れないという結果ではありません。

この区別を問題集に戻して考えると、AIの答えが元の文と同じ話題を扱っているだけでは、設問に答えたかを判定できません。指定された語を含んでいても、その語以外の部分で条件が落ちていることがあります。まず設問の指示を読み、残す内容と変える形を分けておくと、AIの文のどこを調べるかが定まります。

直しすぎは、英語の意味の変更と同じではありません

Katinskaia（2024）は、GPT-3.5に複数の言語で文法の誤りを直させ、自動の採点方法と人による評価で調べました。誤りを含む文を直しすぎたり、別の直し方を提案したりする傾向があり、チェコ語・ドイツ語・ロシア語などでは意味まで変えてしまうことがありました。一方、英語では流暢な訂正を作り、文の意味もおおむね保っていました。英語について注目したいのは、人が評価すると、時制、語どうしのつながり、語の組み合わせなどに弱さが残った点です。

ここでの直しすぎとは、誤りを直すために必要な範囲を超えて文に手を加えることです。語を置き換えただけで意味が保たれる場合もあれば、伝えたい内容にまで変更が及ぶ場合もあります。したがって、直した箇所が多いという観察と、意味が変わったという判定は分けます。英語の書き換えを読む際には、他の言語での結果をそのまま誤答の割合と見なさず、時制などの具体的な弱点に目を向けます。

Sumner（2026）は、韓国の英語学習者の作文1,000本を使い、GPT-4oへの指示を工夫する方法と、文法訂正のために追加で学習させる方法を比べました。必要な箇所だけを直すという目的に対し、追加学習したモデルのほうが適していました。そのままのGPT-4oでは、教育上の目的を詳しく書いた指示でも、直しすぎた不自然な文章が残りました。研究では、必要な所だけを直すという教育上の目的を、モデルの訓練に反映させる方法が有効でした。

書き換えの候補を採用する前に、修正を求めた部分以外も見ておきます。主語を残す指示をしていても、目的語や条件の部分まで保たれているかは別に点検します。答えの末尾に付いた丁寧な解説を先に読むより、元の英文と答えの違いを先に拾うほうが、確かめたい箇所を絞れます。

指示の工夫と採点の物差しで評価が変わります

Loem（2023）は、GPT-3による文法訂正を対象に、指示と例によって直し方を制御できるかを調べました。必要最小限の訂正にするか、流暢さを高める訂正にするか、学習者の水準に合わせるかを扱っています。適切な指示と例を与えた条件では、訂正の仕方を制御できるという結果でした。これは、何を求めるかを具体的に伝える工夫を支持しています。

前節のSumner（2026）では指示を詳しくしても直しすぎが残っており、指示による制御の成否は研究の条件で異なっています。比べたモデルと課題の違いを踏まえ、指示文では、どの条件を守ってほしいかを明示します。候補が返った後は、その条件を満たしたかを元の文と照らします。

Östling（2024）は、スウェーデン語の学習者の作文を対象に、文法訂正の方式を自動の指標と人の評価で比べました。GPT-3に例を見せる方法は従来の方式を大きく上回り、従来の評価方法にある偏りも人の評価によって明らかになりました。AIの訂正が基準の答えと異なることを、そのまま品質の低さと結びつけると、良い訂正まで落とす可能性があります。研究を読むときには、何を直す課題だったかに加え、誰がどんな基準で採点したかも見ます。

自分で書き換える練習には、完成文を読む以上の役割があります

書き換え問題で練習するのは、答えの英文を覚えることだけではありません。主語や動詞の関係を読み取り、変えてよい部分を選び、変更後にも内容が保たれるように組み立てます。完成した文を見て納得することと、この操作を自分で行うことは異なります。AIの候補を見る前に自分の案を残しておけば、どの操作を自分で選び、どこを借りたかを追えます。

Saddler（2005）は、小学生に短い文を組み合わせて書き直す練習を仲間と行わせ、文法の指導を受けた群と比べました。文を組み合わせる練習をした群は、その力が伸び、物語の作文や書き直しにも使うようになりました。生成AIの答えを読む課題ではなく、学習者自身が文を作り替える指導の結果です。この研究から書き換えの練習を考えると、完成文の収集より、文の部品をどうつなぐかに目を向ける意義があります。

Cheng（2023）は、英語を外国語として学ぶ学生に、18週間の科目で、類語を探す道具の使い方と言い換えの方法を教えました。要約の答案は事前と事後で改善し、語や句の言い換えの多くは適切でした。学生も、道具の利用と言い換え方の指導の組み合わせを学習に役立つと捉えていました。比べる群のない研究で、使ったのは類語辞典などであり、文章を丸ごと生成する仕組みではありません。

これらは、道具を使う前後に学習者が何をするかを考える材料になります。候補の語を見つけたら、その語を元の位置に置いたときに、周囲の語とのつながりまで成立するかを調べます。単語だけを取り出して覚えるのではなく、元の文と書き換えた文を対にして残すと、どの関係を維持したかったかも記録できます。後で解き直す際にはAIの完成文を隠し、自分で同じ操作を選び直します。

元の文に印を付け、意味と条件を順に照合します

電車内で画面を切り替えていると、元の文を覚えたつもりで答えだけを読み続けやすくなります。そこで、元の英文を消さず、AIの候補と並べられる形にします。紙の問題集なら、AIの答えを書き移した余白に、元の文と違う語を丸で囲みます。スマートフォンのメモなら、追加された語と消えた語を別々に記録しても比較できます。

まず、誰が何をする文なのかを両方で読み取ります。次に、過去・現在などの時制、肯定か否定か、条件や必要性の表し方を見ます。主語の単語が変わっていなくても、動詞との関係が変われば、同じ内容かを読み直します。元の文にない理由や気持ちが付け加えられていれば、書き換えに必要な情報なのかを検討します。

その後で、指定語、書き出し、空欄の形を照合します。ここでは、意味が近い候補でも設問の形式から外れていれば、そのまま解答欄に入れません。問題集の解答・解説を開き、どの部分を対応させているかを確認し、語の使い方が疑問なら辞書の用例を読みます。辞書では見出し語の訳だけで判断せず、一緒に使われる語や文の形まで見ます。

AIへの指示を添えるなら、「元の意味と指定語を保ち、変えた箇所を示してください」という短い形が考えられます。変更箇所を示させるのは、比較する場所を見やすくするためです。AIが示した変更箇所だけを信じず、実際の英文にも追加や削除がないか目を通します。自分の印とAIの説明が食い違った部分は、問題集や辞書で調べる箇所として残します。

使わない場面を決め、保護者は比較の跡を見ます

元の文の主語や動詞をまだ読み取れないときは、生成AIに別の完成文を出させるより、元の文の解説を読むことを優先します。比較の基準が曖昧なまま候補を増やすと、どの文が元の内容を保っているかを判断する負担が増えます。自分で解けるかを調べたいときにも、先にAIの答えを開くと、その目的から外れます。解答欄を埋めたかと、自分で書き換えられたかを混同しないようにします。

意味のずれを含む候補をそのまま覚えると、誤った対応を練習してしまうおそれがあります。たとえば時制の違いを見落としたまま文の組を覚えると、後でその組を使う際にも違いを見直す機会がなくなります。これは学習上の危険として考えておきたい点です。対策として、覚える文の組は問題集の解説で確かめたものにし、判断が残った候補は復習用の正解と分けて置きます。

保護者が一緒に電車で移動しながら見る場合は、英文全体の採点を引き受ける必要はありません。元の文が残っているか、変更箇所に印があるか、問題集の解説のどこを読んだかを見れば、答えを比較した過程をたどれます。「AIがそう言ったから」で止まっているときには、文のどこが対応しているのかを本人に説明してもらいます。説明が止まった場所が、次に辞書や解説を開く目印になります。

• 元の英文とAIの候補が両方残っているか
• 追加・削除・置き換えを区別して印を付けたか
• 時制・主語・否定と、設問の指定を別々に見たか
• 採用した理由を問題集や辞書の説明に結びつけたか

見直しの記録には、採用した答えだけでなく、捨てた候補のどこが合わなかったかも短く添えます。意味の違いだったのか、指定された形との違いだったのかが残れば、後で同じ迷い方をしたときに読み返せます。移動中に比較を終えられない場合は、未解決の箇所に印を付けて止め、AIの最後の答えをそのまま正解として保存しないようにします。

よくある質問

AIの答えが問題集と違えば、誤答ですか

違っていることだけでは誤答と決められません。元の意味を保った別の言い方もありますが、指定語や空欄の形に合うかは別に調べます。まず問題集の解説がどの語句を対応させているかを読み、AIの答えではその対応がどうなっているかを見ます。辞書で候補の語の用例を確かめても判断が残るなら、両方の文と迷った箇所を残して、英語を教える人に質問します。

「意味を変えずに」と頼めば直しすぎを防げますか

その指示だけで防げるとは言えません。Loem（2023）では適切な指示と例による制御が示されましたが、Sumner（2026）では詳しい指示でも直しすぎが残りました。頼む際には使用する語や変更しない部分を明示し、返った文では、それらが保たれたかを別に点検します。元の英文に丸を付けた箇所と、AIが実際に変えた箇所を見比べると、指示から外れた変更を探せます。

英語が苦手な子は、どこから比べればよいですか

まず、元の文と候補の文で、主語と動詞に印を付けるところから始めます。そこが見つからなければ、候補を増やすより先に問題集の解説を読み、元の文の組み立てを確認します。そのうえで、否定の語や時制に関わる形が変わっていないかを見ます。保護者はすぐに答えを直すより、本人が示した印と解説の対応を一緒に追い、読めなかった部分をメモに書いて、質問する箇所を絞ります。

この記事の限界

対象は、韓国の英語学習者の作文やスウェーデン語の作文などを用いた文法訂正が中心です。日本の受験英語の書き換え問題を生成AIに解かせて正答率を測った研究は見つかりませんでした。GPT-3、GPT-3.5、GPT-4oで得られた訂正の傾向が、現在利用するモデルでも同じ強さで現れるかは未検証です。

学習側の研究は、文を組み合わせる指導や類語を調べる道具の利用を扱い、生成AIの答えを採用する学習とは課題が異なります。日本の中高生が意味のずれた書き換えを受け入れた後、どんな誤りを覚え、時間を置いてどこまで自力で直せるかは、今後測る必要がある論点です。

参考文献

1. Katinskaia A ほか. GPT-3.5 for Grammatical Error Correction. Proceedings of LREC-COLING 2024. 2024:7831-7843.
2. Sumner JP ほか. Evaluating prompting and fine-tuning strategies for GPT-based grammatical error correction. Language Education & Assessment. 2026;9:103750.
3. Wahle JP ほか. Paraphrase Types for Generation and Detection. Proceedings of EMNLP 2023. 2023:12148-12164.
4. Loem M ほか. Exploring Effectiveness of GPT-3 in Grammatical Error Correction: A Study on Performance and Controllability in Prompt-Based Methods. Proceedings of BEA 2023. 2023:205-219.
5. Östling R ほか. Evaluation of Really Good Grammatical Error Correction. Proceedings of LREC-COLING 2024. 2024:6582-6593.
6. Saddler B ほか. The Effects of Peer-Assisted Sentence-Combining Instruction on the Writing Performance of More and Less Skilled Young Writers. J Educ Psychol. 2005;97(1):43-54.
7. Cheng YH. Exploring the Effects of Tool-Assisted Paraphrasing Strategy Instruction on EFL Learners’ Paraphrasing Performance. Educ Technol Soc. 2023;26(4):51-68.

よくある質問