AI文章の検出ツールの精度｜誤判定が起きる仕組みと限界

AI文章の検出ツールの精度には、数字が二重に存在します。ベンダーが掲げる「99%」と、第三者が同じ種類のツールを測った結果が、別のものを測ったように離れているのです。この記事ではどちらかを正しいと決めず、両方を出所つきで並べたうえで、人間の文章がAI判定される「偽陽性（false positive）」の仕組みを分解します。

結論から書きます。公称値は高く、GPTZeroは「AIと人間の判別で正確性99%、偽陽性率は1%以下」と自社記事で述べ、Copyleaksは自社サイトで「99%超の正確性、業界最低水準の0.03%の偽陽性率」と記載しています。一方、14種類の検出ツールを同一の文書セットで比較した査読論文（Weber-Wulff ほか, International Journal for Educational Integrity, 2023）は「最も高い正確性の値でも80%を下回る」とし、ツール群は「正確でも信頼できるものでもない」と結論づけました（論文PDF）。検出ツールを最初に世に出した当事者のOpenAI自身も、2023年7月20日に自社の AI Text Classifier を「正確性の低さ（low rate of accuracy）」を理由に提供終了しています（公式告知）。

この差は、どちらかが嘘をついているから生まれるのではありません。測っている文章の種類が違うこと、そして検出ツールが見ているのは「AIが書いたか」ではなく「文章の統計的な平板さ」であること。この2つから必然的に生まれます。

AI文章の検出ツールは何を見ているのか

検出ツールは文章の意味を理解して判断しているわけではありません。言語モデルから見てその文章がどれだけ「予測しやすいか」を測っています。

perplexity（次の単語の意外さ）

perplexity は、モデルが次の単語を当てるときの迷いの大きさです。ありふれた言い回しは予測しやすいので値が低くなります。生成AIは確率の高い単語を選ぶため出力は構造的に perplexity が低くなりやすく、検出ツールの多くはこの「低さ」をAIの痕跡として使います。

ここに最初の落とし穴があります。perplexity が低い文章はAIが書いた文章だけではないという点です。Liang ほかの研究チームはこの依存関係そのものを問題視し、「低い perplexity をAI生成の指標として使うことには慎重であるべきだ」と論文中で明言しています（arXiv版）。

burstiness（文ごとのばらつき）

burstiness は、文の長さや複雑さが文章の中でどれだけ波打っているかを見る指標です。人間の文章は長短や語彙が不規則に混ざり、生成AIの出力はこの波が平らになりやすい。ただし先の14ツール比較論文は、「perplexity = 137.222」「Burstiness Score: 17104.959」のように解釈できない桁数の数値を示すツールがあったと指摘しています。数値が細かく出ることは精度の保証になりません。

作りの違いで結果が分かれる

2026年8月の研究（Park・Jeong・Kim）は、13種類の検出手法を同じ人間執筆の学術原稿にかけ、手法の系統によって偽陽性率が大きく分かれることを示しました。単語の予測しやすさに依拠する手法は偽陽性率が最も高く文書の過半をAI生成と誤分類することが多かった一方、ゼロショットの尤度比に基づく手法は偽陽性率をほぼゼロに保ったと報告されています（arXiv:2608.26710）。同じ文章でも作りが違えば「ほぼAI」と「ほぼ人間」に分かれる。どのツールを選ぶかが結果を決めてしまうということです。

公称精度と第三者検証を並べて見る

各ツールの公称値と、第三者の検証・論文での扱いを並べます。Mihataとして「このツールは当たる／当たらない」と評価する意図はありません。出所の種類が違う数字が併存しているという事実の整理です。

公称値が高いことと第三者検証が厳しいことは、必ずしも矛盾していません。公称値は多くの場合「AIが素のまま生成した文章」と「普通の人間の文章」を分ける課題で測られます。第三者検証は言い換えツールを通した文章、非母語話者の文章、AIと人間が混在する文章といった、現場で実際に出てくる文章で測ります。後者が難しいのは当然です。

誤判定（偽陽性）が起きる5つの仕組み

ここが本題です。なぜ自分で書いた文章がAI判定されるのか。原因は性能不足というより、指標の性質から来ています。

非母語話者の文章は perplexity が低い

最も明確な証拠が、Liang・Yuksekgonul・Mao・Wu・Zou による「GPT detectors are biased against non-native English writers」（Patterns, 2023）です。広く使われている7つのGPT検出ツールに、人間が書いた91本のTOEFL小論文をかけた結果は平均偽陽性率61.22%。7つすべてが一致してAI執筆と判定した小論文が91本中18本（19.78%）、少なくとも1つのツールにAIと判定されたものは89本（97.80%）に達しました。同じツール群は米国8年生（中学2年相当）の小論文ではほぼ完璧な精度を示しています（論文）。

理由も検証されています。全ツール一致で誤判定された小論文は perplexity が有意に低かった（P値 9.74E-05）。そこで「ネイティブらしく聞こえるよう語彙を豊かにして」とChatGPTに書き換えさせると、偽陽性率は61.22%から11.77%へ49.45ポイント下がり、全ツール一致の誤判定は1本（1.10%）だけになりました。逆に米国8年生の小論文の語彙を平易に置き換えると、AI判定率は平均5.19%から56.65%へ跳ね上がったのです。つまり検出ツールが見ているのは語彙の幅と文の変化の乏しさであり、限られた語彙で書く人を仕組みのうえで不利にしてしまう。論文は「評価や教育の場面での使用には慎重であるべき」と結んでいます。

定型文・簡潔な文章ほど機械に見える

OpenAIは教育者向けFAQで、自社が検出器を学習させたときの所見をこう書いています。シェイクスピアや独立宣言のような人間の文章をAI生成と判定した。そして「第二言語として英語を学んだ、あるいは学んでいる学生、および文章が特に定型的（formulaic）または簡潔（concise）な学生に不均衡な影響を与えうる兆候があった」と（OpenAIヘルプセンター）。

これはビジネス文書にそのまま当てはまります。社内規定、マニュアル、報告書、議事録。型が決まっていて簡潔であることが美徳とされる文章は、どれも perplexity が低くなります。Liang ほかは、非英語圏に所属する著者の論文アブストラクトが英語圏の著者のものより有意に perplexity が低いことも確認しています。AIの文章から「AI感」を抜く作業と、人間が自分の文章を機械的に見せない工夫は、技術的には同じ土台の上にあります。

短い文章では判定が安定しない

OpenAIは提供終了前の公式ページで、自社の検出器について「1,000文字未満の短い文章では非常に信頼できない」「長い文章でも誤ったラベルが付くことがある」と明記していました。入力が短いほど perplexity や burstiness の推定が不安定になるためで、実装の巧拙ではなく指標の性質です。メールの一文やチャットの返信に検出ツールをかけても、出てくる数字の意味は薄いと考えたほうが安全です。

閾値とクラス不均衡 — 1%でも人数は小さくならない

「偽陽性率1%なら実用上問題ない」という感覚は、母数を入れると崩れます。Vanderbilt大学は2023年8月16日、TurnitinのAI検出機能を無効化した理由を公開しました。主張されている偽陽性率1%に対し、同大学は2022年に75,000本の論文をTurnitinに提出していた。もしその時点でこの機能があれば、約750本の学生の論文が誤ってAI執筆のラベルを付けられた可能性があるという計算です（Vanderbilt大学公式）。非母語話者や学習特性の異なる学生の文章がより多くフラグされやすいという公平性の問題、仕組みが開示されていないことも理由に挙げられています。

閾値の置き方も効きます。Turnitinの「文書単位1%未満」はAI記述が20%以上含まれる文書という条件つきの数字で、条件を外した一般の文書についてのものではありません。さらに同社は文単位の偽陽性率を約4%と公表し、その誤りの54%は実際のAI記述のすぐ隣の文で起きると書いています。混在文書の境界付近が弱点だと、運営側が自ら開示している形です。

2026年3月の理論研究は、これを構造として定式化しています。採点者は個々の学生の文章の分布を知らないため、検出は「既知の2分布の比較」ではなく合成帰無仮説の検定になる。したがって意味のある検出力を持つ一発判定器は、学生の文章とAI出力の分布の重なりに支配される率で誤った告発を出さざるを得ない。これはAIモデルの品質とは論理的に独立した制約であり、検出器の改良では克服できない——そう結論し、検出スコアを不正行為審査の唯一の証拠にすべきではないと提言しています（arXiv:2603.20254）。

AI編集が混ざった文章の扱いが定義されていない

実務でいちばん多いのがこの型です。人間が書いてAIに推敲させる、あるいはAIに下書きさせて人間が全面的に書き直す。これを「AI生成」と呼ぶかは、ツール側で定義が揺れています。

前述の2026年8月の研究が、この点を正面から測りました。著者と内容を固定したまま言語形式だけを変える自然実験として、プロの英文校正サービスが扱った非母語話者原稿とその校正後版、135,389組の文書ペア（2018〜2025年）を13の検出手法にかけたのです。人間が書いた文章への偽陽性率は、ツール間で0.0%から100.0%までばらつきました。さらに同じ校正がある手法ではAIスコアを下げ、別の手法では上げ、スコアの変化は校正の量と相関していました。著者らは、プロの校正スタイルが検出器出力の交絡要因になっていると結論づけています。

言い換えツールを通した場合はさらに不安定です。14ツール比較論文は、AIが生成した文章を人間が手で言い換えると検出されない割合がおよそ50%に上昇し、機械による言い換えではさらに高くなったと報告しています。「何らかの難読化を施されたAI生成文章の約50%は、人間のものと誤って帰属されるだろう」が同論文の記述です。

AI判定されたときに人間側ができること

自分で書いた文章がAI判定される状況は実際に起こります。断定できることは限られますが、材料の集め方には型があります。

• 執筆の過程を残す。変更履歴、下書きのメモ、調べたときの履歴。完成品だけでは何も示せませんが、過程は残せます。OpenAI自身も教育者向けFAQで、完成品の判定ではなく過程の共有を代替案として挙げています。
• 複数のツールにかけて食い違いを記録する。同じ人間執筆の文章に対する偽陽性率はツール間で大きく分かれます。食い違いそのものが、単一スコアを根拠にできないことの実例になります。
• 判定された文章が短すぎないか確認する。1,000文字を下回る文章での判定は、開発元自身が信頼できないと書いている領域です。
• 判定の内訳を見る。文単位のハイライトなら、Turnitin自身が約4%の偽陽性率と、誤りがAI記述の隣で起きやすいことを公表しています。1〜2文だけのハイライトの情報量は小さいと考えられます。
• AI自身に尋ねない。OpenAIはFAQで、ChatGPTは「これを書いたのはあなたですか」のような問いにしばしば作り話で答え、その回答はランダムで事実に基づかないと明記しています。

なお perplexity を上げる方向に書き換えれば判定は変わります。ただしそれは「AIが書いたか」と無関係に動く操作で、スコアの意味が薄いことの裏返しでもあります。AIが書いた記事のファクトチェックのように中身の正しさを人間が確かめる作業のほうが、結果として文章の固有性につながります。

組織として検出ツールをどう扱うか

ここはMihataが実務で使っている判断軸です。断定ではなく、決める順番の提案として読んでください。

第一に、検出スコアを単独の根拠にしない。Turnitinは「対話を始めるために使ってほしい」と書き、2026年の理論研究は「唯一の証拠にすべきではない」と提言し、Vanderbilt大学は機能そのものを無効化しました。立場の違う三者が同じ方向を向いています。社内規定に「AI検出ツールの判定のみを理由に処分・差し戻しをしない」と一行入れるだけで、運用はかなり安全になります。

第二に、検出ではなく開示の設計に寄せる。「AIを使ったか」を当てにいくより、「どこでどう使ったか」を書いてもらう欄を作るほうが、精度の議論から自由になれます。外注のライターにも、禁止ではなく使った工程と人間が確かめた範囲を申告してもらう形のほうが続きます。

第三に、守りたいものを言葉にする。AI利用そのものを問題にしたいのか、事実の誤りを防ぎたいのか、文章の独自性を保ちたいのか。目的で打ち手が変わります。事実の誤りが怖いなら検出ツールではなく出典確認の手順が要りますし、SEOの観点で不安ならGoogleが公式に示しているAI生成コンテンツの扱いと量産が問題になる条件を読むのが先です。Googleは生成手段ではなく品質を見ると明言しています。

第四に、限界を正直に共有する。導入するなら、公称値と第三者検証の数字の両方をチーム内で共有しておくべきです。「99%当たるツールを入れた」と伝わると、誤判定された人が反論できなくなります。

この記事で扱えなかったこと

日本語の文章に対する検出ツールの精度については、信頼できる第三者検証を今回見つけられませんでした。引用した研究はいずれも英語を対象としたものです。perplexity が低い文章を不利に扱う仕組み自体は言語に依存しませんが、日本語での具体的な偽陽性率は示せません。OpenAIが「英語以外では著しく性能が落ちる」と書いていたことだけが手がかりです。また Copyleaks と Originality.ai は公称値を公式サイトで確認できましたが、査読論文での独立検証は見つけられませんでした。

検出ツールの数字に振り回されるより、記事の中身をどう確かめ、どう人の言葉に寄せるかを決めたほうが、結果として長く使える文章になります。MihataではAIで書いた記事をSEOを落とさずに直す手順とあわせて、社内ルールの整理や原稿のチェック体制づくりもお手伝いしています。お困りのことがあれば、よろしければ一度お聞かせください。