［ニュース解説］AIか人間か？最新AIコンテンツ検出ツールはどれほどの精度なのか

2025-05-01

はじめに

　近年、ChatGPTをはじめとする生成AIの進化は目覚ましく、人間が書いた文章と見分けがつかないほど自然なテキストを生成できるようになりました。これに伴い、教育現場でのレポート作成やビジネスにおけるコンテンツ作成など、様々な場面でAIが生成したテキストが利用される機会が増えています。一方で、AIが生成したテキストを人間が書いたものとして提出・公開すること（いわゆるAI剽窃）への懸念も高まっており、その真偽を見抜く「AIコンテンツ検出ツール」の重要性が増しています。

　本稿では、ZDNETのシニアコントリビューティングエディターであるDavid Gewirtz氏が実施した、10種類のAIコンテンツ検出ツールの性能比較テストに関する記事を紹介します。どのツールが信頼できるのか、そのテスト方法や結果、そして私たちがこれらのツールをどのように活用すべきかについて、分かりやすく解説します。

引用元記事

タイトル: I tested 10 AI content detectors – and these 5 correctly identified AI text every time
発行元: ZDNET
発行日: 2025年4月30日
URL: https://www.zdnet.com/article/i-tested-10-ai-content-detectors-and-these-5-correctly-identified-ai-text-every-time/

・本稿中の画像に関しては特に明示がない場合、引用元記事より引用しております。
・記載されている情報は、投稿日までに確認された内容となります。正確な情報に関しては、各種公式HPを参照するようお願い致します。
・内容に関してはあくまで執筆者の認識であり、誤っている場合があります。引用元記事を確認するようお願い致します。

要点

　本稿で紹介するZDNETの記事では、10種類のAIコンテンツ検出ツールについて、人間が書いた文章とAI（ChatGPT）が生成した文章をそれぞれ正しく識別できるかをテストしています。主な結果とポイントは以下の通りです。

AIコンテンツ検出ツールの信頼性は向上しており、2023年1月のテストでは最高正答率66%だったものが、今回のテストでは10製品中5製品が100%の精度で人間とAIの文章を識別しました。
テストは、著者自身が書いたテキスト2つとChatGPTが生成したテキスト3つの計5つのテキストブロックを各検出ツールに入力し、その判定結果（人間かAIか、またはその確率）を記録する形で行われました。確率が70%以上の場合を確定的な回答とみなしています。
Monica, Originality.ai, QuillBot, Undetectable.ai, ZeroGPT の5つのツールが、5つのテストすべてで完璧な結果を出しました。
一方で、ツールによっては精度にばらつきがあり、過去のテストで高精度だったものが今回は精度を落とすケースや、人間が書いた文章をAI生成と誤判定するケースも見られました。
著者は、これらのツールは改善されているものの、結果を鵜呑みにせず、注意深く利用することを推奨しています。特に、非ネイティブスピーカーが書いた文章などがAI生成と誤判定される可能性も指摘されています。

詳細解説

AIコンテンツ検出とは何か？なぜ重要か？

　AIコンテンツ検出ツールは、与えられたテキストが人間によって書かれたものか、あるいはAI（特に大規模言語モデル）によって生成されたものかを判定するソフトウェアやサービスです。

　引用元の記事では、Merriam-Webster辞書の定義を引用し、「他者のアイデアや言葉を盗んで自分のものとして通用させること、出典を明記せずに他者の制作物を使用すること」を「剽窃（plagiarize）」と定義しています。AIツール（ChatGPTなど）を使って作成したコンテンツ自体が盗用にあたるわけではありませんが、その出典（AIによって生成されたこと）を明記せずに自分の成果として発表した場合、この剽窃の定義に合致する可能性があると指摘しています。

　教育機関での課題提出、学術論文、企業のウェブサイトやマーケティング資料など、オリジナリティと信頼性が求められる場面において、AIが生成したコンテンツを適切に識別・管理する必要性が高まっているのです。

テスト方法の詳細

　著者は信頼性の高いテストを行うため、明確な基準を設けています。

テスト用テキスト: 著者自身が執筆したテキスト2種類と、ChatGPT（具体的なバージョンは明記されていませんが、文脈から最新版に近いものと推測されます）が生成したテキスト3種類の、計5つの異なるテキストブロックを用意しました。
テスト対象ツール: BrandWell, Copyleaks, GPT-2 Output Detector, GPTZero, Grammarly, Monica, Originality.ai, QuillBot, Undetectable.ai, Writer.com, ZeroGPT の10種類のツールをテストしました（以前テストしたWritefullはサービス終了のため除外）。
判定方法: 5つのテキストブロックを各ツールに個別に入力し、出力結果を記録。「人間執筆」「AI生成」の判定が正しければ「合格」、間違っていれば「不合格」としました。ツールが確率（例: 90% AI生成）で結果を示す場合は、70%以上の確率であれば、その判定（この例ではAI生成）がツールの回答であるとみなしました。
テスト回数: 10ツール × 5テキストブロック = 50回の個別テストを実施しました。

テスト結果：信頼できるツールと注意点

　テストの結果、以下の5つのツールが、人間が書いたテキストとAIが生成したテキストの両方を100%の精度で正しく識別しました。

Monica: 比較的新しいツール。ZeroGPTやGPTZero、Copyleaksなど他の検出器の結果も利用しているように見えるが、単体テストでは振るわなかったGPTZeroやCopyleaksと異なり、Monica自体は100%の精度を達成。
Originality.ai: AI検出と剽窃チェックの商用サービス。クレジット購入型。
QuillBot: 以前のテストでは結果が不安定だったが、今回は安定して100%の精度を達成。
Undetectable.ai: AIが生成したテキストを「人間らしく」見せかけ、検出を回避する機能も持つが、AI検出機能自体は高精度。他の主要な検出器をモデルにした複数のアルゴリズムを使用していると説明。
ZeroGPT: 以前は個人プロジェクトのような印象だったが、現在はSaaSとしてサービスを提供。精度も向上し100%を達成。

　一方で、Copyleaks (80%) や GPTZero (80%) は完璧ではありませんでした。特にGPTZeroは、過去のテストでは人間が書いたテキストを正しく判定できていたにも関わらず、今回のテストではAI生成と誤判定するケースがありました。Grammarly (40%), BrandWell (40%), Writer.com (40%), GPT-2 Output Detector (60%) は精度が低い結果となりました。

　重要な注意点として、著者はこれらのツールの結果に全面的に依存することには警鐘を鳴らしています。たとえ100%の精度を示したツールであっても、状況によっては誤判定の可能性があります。特に、英語を母国語としない人が書いた文章が、AIによって生成されたと誤判定されやすい傾向があることが示唆されています。これは、AI検出ツールが学習データに含まれる典型的な人間（多くはネイティブスピーカー）の文章スタイルとの差異を検出する可能性があるためと考えられます。

技術的な側面：AIはどうやってAIを見抜くのか？（補足情報）

　引用元の記事では、各ツールが「どのように」AIコンテンツを検出しているかの技術的な詳細には深く触れていませんが、一般的にこれらのツールは以下のような要素を分析していると考えられます。

言語パターンの統計的分析: AIが生成する文章は、特定の単語の繰り返し頻度、文の長さの均一性、接続詞の使い方などに、人間とは異なる統計的な偏りが見られることがあります。
テキストの「複雑さ」と「ランダム性」: Perplexity（複雑さ・予測困難性）やBurstiness（文長や単語の使い方の変化度合い）といった指標を測定します。一般的に、人間が書く文章はAIが生成する文章よりもこれらの指標にばらつきが見られる傾向があります。
機械学習モデル: 人間が書いた大量のテキストとAIが生成した大量のテキストを学習データとして用いて、その違いを識別する機械学習モデル（多くはTransformerベース）を構築しています。

　Undetectable.aiのように、AIが生成したテキストをこれらの検出から逃れるように「人間化（humanize）」するサービスも存在することは、検出技術とのいたちごっこが続く可能性を示唆しています。

まとめ

　本稿で紹介したZDNETの記事は、AIコンテンツ検出ツールの現状と信頼性について、具体的なテストに基づいた貴重な情報を提供しています。

　テストの結果、Monica, Originality.ai, QuillBot, Undetectable.ai, ZeroGPT といったツールは、現在のところ非常に高い精度でAIが生成した文章と人間が書いた文章を見分けられることが示されました。これは、AIコンテンツの信頼性を確認する必要がある教育者やコンテンツ制作者にとって朗報と言えるでしょう。

　しかしながら、著者が強調するように、これらのツールは万能ではなく、結果を盲信するべきではありません。特に、言語的な背景が異なる場合や、文章のスタイルによっては誤判定のリスクも依然として存在します。AI検出ツールはあくまで補助的な手段として捉え、最終的な判断は文脈や他の情報も踏まえて慎重に行う必要があると言えます。

　AI技術の進化とともに、それを検出する技術もまた進化し続けています。今後もこれらのツールの動向を注視していくことが重要です。