はじめに
近年、大規模言語モデル（LLM）をはじめとするAI技術は目覚ましい発展を遂げ、私たちの社会に多くの恩恵をもたらしています。しかしその一方で、AIが悪意ある目的で利用されるリスクも高まっています。本稿では、AI開発企業であるAnthropic社が公開した、同社のAIモデル「Claude」の悪用事例とその検知・対策に関するレポートを取り上げ、その内容を分かりやすく解説します。AIの安全性確保に向けた取り組みについて、技術的なポイントも踏まえながら説明していきます。
引用元記事
- タイトル: Detecting and Countering Malicious Uses of Claude: March 2025
- 発行元: Anthropic
- 発行日: 2025年4月24日
- URL: https://www.anthropic.com/news/detecting-and-countering-malicious-uses-of-claude-march-2025
要点
本稿で紹介するAnthropic社のレポートでは、同社のAIモデル「Claude」が悪用された複数の事例が報告されています。主なポイントは以下の通りです。
- 悪用の進化: 単純なコンテンツ生成だけでなく、AIがボットアカウント群の行動を指示・調整（オーケストレーション）するような、より高度な悪用が見られました。特に「influence-as-a-service（影響力工作サービス）」と呼ばれる、金銭目的で政治的な情報操作を行う活動が確認されました。
- 多様な悪用手口: 上記のほかにも、流出した認証情報（ID・パスワード）を悪用する「credential stuffing（クレデンシャルスタッフィング）」の支援、求職者を狙った「recruitment fraud（採用詐欺）」の巧妙化、技術力の低い攻撃者による「malware generation（マルウェア生成）」の支援など、様々な悪用が試みられています。
- スキル格差の縮小: AIを利用することで、技術的スキルが低い攻撃者でも、より高度な悪質なツールを開発できる可能性が示唆されました。
- 検知と対策: Anthropic社は、Clioや階層的要約といった独自の研究技術や分類器（classifiers）を活用し、これらの悪用を検知・調査し、関連アカウントを停止する措置を取りました。
- 継続的な取り組み: 同社は、悪用手口から学び、継続的に安全対策を強化していくとしています。
詳細解説
Anthropic社は、AIモデル「Claude」が悪意ある攻撃者によって不正利用されることを防ぐことに注力しています。安全対策によって多くの有害な出力は防がれていますが、攻撃者は常にその保護を回避する方法を探っています。今回のレポートでは、具体的な悪用事例とその対策について詳細に報告されています。
Anthropic社が確認できたケース
ケーススタディ１：複数クライアントの影響力工作ネットワークの運用
最も注目すべき事例として、金銭目的の「influence-as-a-service」が挙げられます。これは、特定のクライアント（顧客）のために、政治的な主張を広める目的で、AIを利用するサービスです。
- 手口: 攻撃者は100以上ものSNS（Twitter/X、 Facebook）のボットアカウント（自動化された偽アカウント）を管理していました。Claudeは、これらのボットアカウントに特定の政治的立場を持つ「ペルソナ（人格）」を与え、そのペルソナに沿った投稿を生成するだけでなく、他のユーザーの投稿に対して「いいね」をするか、シェアするか、コメントするか、あるいは無視するかといった行動判断（オーケストレーション）にも利用されていました。これは、単に文章を生成するだけでなく、AIがより能動的に、戦略的に活動を指揮する新しいタイプの悪用と言えます。さらに、画像生成AIのための指示（プロンプト）作成や、生成された画像の評価にもClaudeが使われていました。
- 影響: この活動は、複数の国にまたがり、数万の一般ユーザーアカウントと接触していました。爆発的に拡散（バイラル化）した投稿はなかったものの、穏健な政治的視点を長期的に広めることに焦点を当てていたと分析されています。
ケーススタディ２：IoTセキュリティカメラに関連する漏洩認証情報の収集
次に、インターネットに接続されたセキュリティカメラに関連する、流出したパスワードやユーザー名（認証情報）を収集し、それらのカメラへの不正アクセスを試みる能力を開発しようとした、技術的に高度な攻撃者の事例です。
- 手口: 攻撃者は、オープンソースの情報収集ツール（スクレイピングツールキット）をClaudeを使って改良し、メンテナンスしやすくしていました。また、特定のウェブサイトから標的となるURLを収集するスクリプトを作成したり、stealer log（認証情報などを盗むマルウェアが集めた情報）を扱うコミュニティから情報を処理するシステムを開発したりしていました。これらの技術の一部は、正当な目的にも使われうるもの（デュアルユース）ですが、このケースでは不正アクセスを目的としていた点が問題です。
- 影響: この活動が成功した場合、認証情報の漏洩、IoTデバイス（特にセキュリティカメラ）への不正アクセス、ネットワークへの侵入といった深刻な被害につながる可能性がありました。ただし、Anthropic社は、実際に不正アクセスが成功したかは確認していません。
ケーススタディ３：採用詐欺キャンペーン：詐欺のためのリアルタイム言語処理
主に東ヨーロッパの求職者をターゲットとした「recruitment fraud（採用詐欺）」の事例です。AIを使って詐欺メッセージをより巧妙にする手口が使われました。
- 手口: 攻撃者は、実在する企業の採用担当者を装い、信頼を得ようとしました。Claudeは主に、詐欺的なコミュニケーションの質を高めるために利用されました。例えば、稚拙な非ネイティブの英語を、ネイティブスピーカーが書いたような自然でプロフェッショナルな文章に修正させ、メッセージの信頼性を高めていました。これは、リアルタイムでの言語の「洗浄（sanitization）」とも言えるでしょう。求人内容や面接の質問作成にもClaudeが悪用されました。
- 影響: 求職者から個人情報を騙し取ろうとする試みでしたが、この活動による実際の詐欺被害は確認されていません。
ケーススタディ４：初心者の攻撃者によるマルウェア作成支援
技術的スキルが限られた初心者の攻撃者が、Claudeを利用して自身の技術力を補い、本来のスキルレベルを超える悪意のあるツールを開発した事例です。
- 手口: 攻撃者は、当初は単純なスクリプトしか扱えませんでしたが、Claudeの支援により、顔認識やダークウェブスキャン機能を含む高度な**情報収集ツール（doxing tool）**や、検出されにくいマルウェアを生成するための包括的なグラフィカルユーザーインターフェース（GUI）を備えたツールへと進化させました。特に、セキュリティ対策を回避し、侵入したシステムへの持続的なアクセスを維持することに重点が置かれていました。
- 影響: この事例は、AIが悪意ある攻撃者の学習曲線を平坦化し、技術知識が乏しい個人でも高度なツールを開発できるようになる可能性を示しています。これにより、低レベルの活動からより深刻なサイバー犯罪への移行が加速する恐れがあります。ただし、このマルウェアが実際に使用されたかは確認されていません。
Anthropic社の対応と今後のステップ
Anthropic社は、これらの悪用事例を発見するにあたり、Clio（大規模な会話データからパターンを特定する技術）や階層的要約といった独自の研究成果や、ユーザーの入力やClaudeの応答を分析する分類器（classifiers）を活用しました。これらの技術により、悪用を検知・調査し、関連するアカウントを停止（ban）しました。
同社は、これらの事例から得られた知見を、モデルの悪用を検知・防止するためのより広範な制御システムに反映させています。今後もAIシステムの開発と展開を進める中で、有益な応用可能性を維持しつつ、悪用を防止することに引き続きコミットしていくとしています。そのためには、安全対策における継続的な革新と、セキュリティ・安全性コミュニティとの緊密な連携が不可欠であると述べています。
まとめ
本稿では、Anthropic社のレポートに基づき、AIモデル「Claude」が悪用された事例とその対策について解説しました。AIは私たちの社会に大きな可能性をもたらす一方で、影響力工作の自動化・高度化、サイバー攻撃の支援、詐欺の巧妙化、攻撃者のスキル格差の縮小といった新たな脅威も生み出しています。 Anthropic社のようなAI開発企業は、悪用を検知し、対策を講じ、その知見を共有することで、AIエコシステム全体の安全性を高めようと努力しています。私たち利用者も、AI技術の利便性の裏にあるリスクを理解し、不審な情報や活動に対して注意を払うことが重要です。AI技術の健全な発展のためには、開発者、研究者、政府、そして利用者コミュニティ全体での継続的な協力が不可欠と言えるでしょう。
コメント