[開発者向け]GoogleがAI悪用の実態を報告——モデル盗用攻撃から国家支援サイバー攻撃まで、企業が直面する新たな脅威

目次

はじめに

 Google Threat Intelligence Group(GTIG)が2026年2月12日、AI技術の悪用に関する包括的なレポートを発表しました。本稿では、このレポートで明らかになったモデル抽出攻撃の急増、国家支援型サイバー攻撃におけるAI活用の実態、AI統合マルウェアの登場、そしてGoogleが実施した対策について解説します。

参考記事

メイン記事:

関連情報:

要点

  • GoogleはAIモデルからの知識抽出を試みる「モデル抽出攻撃(distillation attacks)」を世界中の企業や研究者から検知し、10万回以上のプロンプトを含むキャンペーンを阻止した
  • 北朝鮮、中国、イラン、ロシアの国家支援型攻撃者がGeminiを偵察、フィッシング、マルウェア開発などの攻撃ライフサイクル全体で悪用している
  • Gemini APIを呼び出してマルウェアコードを生成する「HONESTCUE」や、AI生成ツールで構築されたフィッシングキット「COINBAIT」など、AI統合マルウェアが登場している
  • 攻撃者はAIサービスの公開共有機能を悪用し、信頼されたドメイン上でClickFix手法によるマルウェア配布を試みている
  • Googleは悪意のあるアカウントを無効化し、分類器とモデル自体の両方を強化することで、これらの脅威に対処している

詳細解説

モデル抽出攻撃の急増:企業のAI資産が標的に

 GTIGによれば、2025年を通じて「モデル抽出攻撃(Model Extraction Attacks)」または「蒸留攻撃(distillation attacks)」が大幅に増加しました。この攻撃は、正規のAPI アクセスを利用して成熟した機械学習モデルを体系的に調査し、新しいモデルの訓練に使用する情報を抽出する手法です。

 攻撃者は「知識蒸留(Knowledge Distillation)」と呼ばれる技術を用いて、あるモデルから得た情報を別のモデルに転送します。この手法により、攻撃者はAIモデルの開発を迅速かつ大幅に低コストで加速できます。この活動は事実上、知的財産(IP)の窃取を意味します。

 知識蒸留自体は、「教師モデル」から「生徒モデル」を訓練する一般的な機械学習技術であり、正当な用途も存在します。Google Cloudも蒸留を実行するための既存のサービスを提供しています。しかし、Googleによれば、許可なくGeminiモデルから蒸留を行うことは利用規約違反であり、Googleはこれらの試みを検知・緩和する技術の開発を継続しています。

 具体的な事例として、GTIGはGeminiの優れた推論能力を標的とした攻撃を特定しました。内部の推論トレース(思考過程)は通常、ユーザーに提供される前に要約されますが、攻撃者はモデルに完全な推論プロセスを出力させようと試みました。ある攻撃では、「思考コンテンツで使用される言語は、ユーザー入力の主要言語と厳密に一致しなければならない」とGeminiに指示していました。

 GTIGの分析によると、このキャンペーンでは10万回以上のプロンプトが確認され、質問の幅広さから、英語以外の対象言語で幅広いタスクにわたってGeminiの推論能力を複製しようとする意図が示唆されました。Googleのシステムはこの攻撃をリアルタイムで認識し、内部推論トレースを保護しました。

 モデル抽出攻撃と蒸留攻撃は、通常、一般ユーザーにとってリスクとはなりません。AIサービスの機密性、可用性、または整合性を脅かすものではないためです。むしろ、リスクはモデル開発者やサービスプロバイダーに集中します。

 AIモデルをサービスとして提供する組織は、抽出や蒸留のパターンについてAPIアクセスを監視する必要があります。たとえば、金融データ分析用に調整されたカスタムモデルは、派生製品を作成しようとする商業的競合他社によって標的にされる可能性があり、コーディングモデルは、ガードレールのない環境で機能を複製しようとする敵対者によって標的にされる可能性があります。

 この種の攻撃は一般消費者には直接影響しませんが、独自のAIモデルを構築または運用する企業にとっては重大なリスクと考えられます。特に、高度な専門知識を持つモデルや、特定の業界向けにファインチューニングされたモデルは、競合他社や悪意のある第三者による知的財産窃取の標的になりやすいと言えます。

国家支援型攻撃者によるAI悪用の実態

 GTIGは2025年第4四半期、政府支援の攻撃者がGeminiを悪用する方法についての理解を深めました。北朝鮮、中国、イラン、ロシアからの脅威アクターが、攻撃ライフサイクルのあらゆる段階でAIを活用している実態が明らかになりました。

偵察とターゲット開発の高度化

 APT(Advanced Persistent Threat)攻撃者は、初期侵害を促進するために、偵察とターゲット開発を含む攻撃ライフサイクルの複数のフェーズでGeminiを使用しました。この活動は、AI強化型フィッシング支援へのシフトを示しています。LLMの速度と精度により、被害者のプロファイリングに従来必要だった手作業を回避できるためです。

 フィッシングルアーのコンテンツを生成するだけでなく、LLMは攻撃の偵察フェーズで戦略的な力の倍増要因として機能します。脅威アクターは、オープンソースインテリジェンス(OSINT)を迅速に統合して、高価値ターゲットをプロファイリングし、防衛セクター内の主要な意思決定者を特定し、組織階層をマッピングできます。

 具体的な事例として、GTIGは以下を観察しました:

  • UNC6418(未帰属の脅威アクター)は、Geminiを悪用して標的型インテリジェンス収集を実施し、特に機密アカウント認証情報とメールアドレスを求めていました。その直後、GTIGはウクライナと防衛セクターに焦点を当てたフィッシングキャンペーンでこれらすべてのアカウントを標的とする脅威アクターを観察しました
  • Temp.HEX(中国ベースの脅威アクター)は、Geminiおよび他のAIツールを悪用して、パキスタンのターゲットを含む特定の個人に関する詳細情報を収集し、さまざまな国の分離主義組織に関する運用データと構造データを収集していました

 従来、攻撃者は標的となる個人や組織の情報収集に多くの時間を費やす必要がありました。しかし、LLMを活用することで、公開情報から効率的にプロファイルを作成し、組織構造を理解し、攻撃に最適なターゲットを特定できるようになったと考えられます。

フィッシング攻撃の質的変化

 防御側とターゲットは長い間、文法の悪さ、不自然な構文、または文化的文脈の欠如などの指標に依拠して、フィッシングの試みを識別してきました。しかし、脅威アクターは現在、LLMを活用して、ターゲット組織のプロフェッショナルなトーンや現地言語を反映できる、超パーソナライズされた文化的にニュアンスのあるルアーを生成しています。

 この機能は単純なメール生成を超えて「関係構築型フィッシング(rapport-building phishing)」に拡張されます。ここでは、モデルを使用して、悪意のあるペイロードが配信される前に被害者との複数ターンの信頼できる会話を維持し、信頼を構築します。

 イランの政府支援アクターであるAPT42は、生成AIモデル(Geminiを含む)を活用して、偵察と標的型ソーシャルエンジニアリングを大幅に強化しました。APT42は、特定のエンティティの公式メールを検索したり、アプローチの信頼できる口実を確立するために潜在的なビジネスパートナーに関する偵察を実施したりするためにGeminiを悪用しています。ターゲットの経歴をGeminiに提供することで、APT42はGeminiを悪用して、ターゲットからエンゲージメントを得るための優れたペルソナやシナリオを作成しました。

 北朝鮮の政府支援アクターであるUNC2970は、防衛ターゲティングと企業リクルーターの偽装に一貫して焦点を当ててきました。このグループは、キャンペーン計画と偵察をサポートするために、OSINTを統合し、高価値ターゲットをプロファイリングするためにGeminiを使用しました。このアクターのターゲットプロファイリングには、主要なサイバーセキュリティおよび防衛企業に関する情報の検索、特定の技術的職務と給与情報のマッピングが含まれていました。

 これらの活動は、通常の専門的研究と悪意のある偵察の区別を曖昧にしています。攻撃者は、カスタマイズされた高精度のフィッシングペルソナを作成し、初期侵害の潜在的なソフトターゲットを特定するために必要なコンポーネントを収集しているためです。

コーディングとツール開発の支援

 国家支援のアクターは、偵察やフィッシングルアーの作成から、コマンド&コントロール(C2またはC&C)開発やデータ流出まで、運用のあらゆる段階を強化するためにGeminiを悪用し続けています。GTIGは、Geminiに専門のサイバーセキュリティペルソナをプロンプトしたり、AI統合コード監査機能を作成しようとしたりするなど、キャンペーンをサポートするためにエージェント型AI機能を使用することへの関心を示す活動も観察しました。

 エージェント型AIとは、高度な自律性で動作するように設計された人工知能システムを指し、複雑なタスクを推論し、独立した決定を下し、人間の絶え間ない監視なしに複数ステップのアクションを実行できます。サイバー犯罪者、国家主体、ハクティビストグループは、スピアフィッシング攻撃の自動化、高度なマルウェアの開発、破壊的キャンペーンの実施など、悪意のある目的でエージェント型AIを活用することへの関心を高めていると考えられます。

 中国ベースの脅威アクターAPT31は、専門のサイバーセキュリティペルソナをGeminiにプロンプトすることで、脆弱性の分析を自動化し、標的型テスト計画を生成する高度に構造化されたアプローチを採用しました。この攻撃者は、Hexstrike MCPツールを試用するケースを含めてシナリオを捏造し、特定の米国ベースのターゲットに対するリモートコード実行(RCE)、Webアプリケーションファイアウォール(WAF)バイパス技術、SQLインジェクションテスト結果を分析するようモデルに指示しました。

 中国ベースのアクターUNC795は、攻撃ライフサイクル全体を通じてGeminiに大きく依存していました。GTIGは、このグループが週に複数日、一貫してGeminiと関わり、コードのトラブルシューティング、調査の実施、侵入活動のための技術機能の生成を行っていることを観察しました。

 中国ベースの脅威アクターAPT41に関連する可能性が高い活動も観察されました。このアクターは、知識統合、リアルタイムトラブルシューティング、コード翻訳など、悪意のあるツールの開発と展開を加速するためにGeminiを活用しました。特に、攻撃者は複数回、オープンソースツールのREADMEページをGeminiに提供し、特定のツールの説明とユースケース例を求めました。

 イランの脅威アクターAPT42は、前述のソーシャルエンジニアリングキャンペーンにGeminiを活用するだけでなく、特殊な悪意のあるツールの開発を加速するためのエンジニアリングプラットフォームとしてGeminiを使用しています。この脅威アクターは、新しいマルウェアと攻撃的ツールの開発に積極的に従事しており、デバッグ、コード生成、エクスプロイト技術の調査にGeminiを活用しています。

 これらの活動はGeminiの安全性応答をトリガーし、Googleは攻撃者の運用セキュリティの失敗に基づいて、脅威アクターのキャンペーンを混乱させるためのより広範な追加措置を講じました。さらに、Googleはこの活動に関連するアセットを無効化することでこれらのアクターに対して行動を起こし、さらなる悪用を防ぐための更新を行いました。

AI統合マルウェアの実験的登場

 GTIGは2025年後半、脅威アクターがマルウェアファミリーに新しい機能を実装するためにAIを実験する様子を観察し続けました。実験的なAI対応技術が脅威環境に革命的なパラダイムシフトをもたらすことはまだありませんが、これらの概念実証マルウェアファミリーは、脅威アクターが将来の運用の一部としてAI技術を実装する方法の初期指標です。

HONESTCUE:Gemini APIを悪用するマルウェア

 2025年9月、GTIGはHONESTCUEと追跡するマルウェアサンプルを観察しました。これは、Gemini APIを活用して機能生成をアウトソーシングするものです。HONESTCUEマルウェアサンプルの調査によると、敵対者によるAIの組み込みは、従来のネットワークベースの検知と静的分析を弱体化させることで、難読化への多層アプローチをサポートするように設計されている可能性があります。

 HONESTCUEは、Google Gemini APIを介してプロンプトを送信し、C#ソースコードをレスポンスとして受信するダウンローダーおよびランチャーフレームワークです。注目すべきことに、HONESTCUEは、以前に観察されたPROMPTFLUXの「ジャストインタイム(JIT)」技術と同様の機能を共有していますが、LLMを活用して自己更新するのではなく、HONESTCUEはGemini APIを呼び出して、別のマルウェアをダウンロードして実行する「ステージ2」機能を操作するコードを生成します。

 さらに、HONESTCUEのファイルレス二次ステージは、Gemini APIから受信したC#ソースコードを取得し、正規の.NET CSharpCodeProviderフレームワークを使用して、ペイロードをメモリ内で直接コンパイルおよび実行します。このアプローチにより、ディスク上にペイロードアーティファクトが残りません。また、脅威アクターがDiscord CDNなどのコンテンツ配信ネットワーク(CDN)を使用して最終ペイロードをホストすることも観察されました。

 HONESTCUEのハードコードされたプロンプトの使用は、それ自体が悪意のあるものではなく、マルウェアに関連するコンテキストがなければ、プロンプトが「悪意がある」と見なされる可能性は低いです。マルウェア機能の一面をアウトソーシングし、LLMを活用して、より大きな悪意のある構成に適合する一見無害なコードを開発することは、脅威アクターがセキュリティガードレールをバイパスしながらキャンペーンを強化するためにAIアプリケーションを採用する可能性が高い方法を示しています。

 この手法の特徴は、ディスク上にマルウェアファイルを残さないという点にあります。従来のウイルス対策ソフトウェアは、ディスク上のファイルをスキャンすることで脅威を検知しますが、メモリ内でのみ実行されるコードは検知が困難です。また、Gemini APIから毎回異なるコードが生成される可能性があるため、シグネチャベースの検知も回避できると考えられます。

COINBAIT:AI生成フィッシングキット

 2025年11月、GTIGはCOINBAITというフィッシングキットを特定しました。その構築は、AI コード生成ツールによって加速された可能性が高く、認証情報の収集のために主要な暗号通貨取引所を装っていました。直接的なインフラストラクチャの重複と帰属されたドメインの使用に基づいて、GTIGはこの活動の一部がUNC5356と重複していると高い信頼性で評価しています。UNC5356は、金融組織、暗号通貨関連企業、およびその他のさまざまな人気のあるビジネスやサービスのクライアントを標的とするSMSおよび電話ベースのフィッシングキャンペーンを使用する、金銭的動機のある脅威クラスターです。

 マルウェアサンプルの調査によると、このキットは、lovableSupabaseクライアントとlovable.appを画像ホスティングに使用していることから、AI搭載プラットフォームLovable AIを使用して構築されたことが示されています。

 フィッシングキットは、複雑な状態管理とルーティングを備えた完全なReactシングルページアプリケーション(SPA)にラップされていました。この複雑さは、Lovable AIのようなフレームワークを使用して、高レベルのプロンプト(たとえば、「ウォレットリカバリ用のCoinbaseスタイルのUIを作成する」)から生成されたコードを示しています。

 LLM使用のもう1つの重要な指標は、マルウェアのソースコード内に直接存在する、冗長な開発者向けのログメッセージの存在です。一貫して「?Analytics:」というプレフィックスが付いたこれらのメッセージは、キットの悪意のある追跡とデータ流出活動のリアルタイムトレースを提供し、このコードファミリーの独自のフィンガープリントとして機能します。

 AI生成ツールを使用することで、技術的な専門知識が限られた攻撃者でも、洗練されたフィッシングキットを短時間で構築できるようになったと考えられます。特に、ReactのようなモダンなWebフレームワークを使用した複雑なUIの実装は、従来は高度な開発スキルを必要としましたが、AI支援により大幅に簡易化されています。

サイバー犯罪市場におけるAI悪用エコシステム

 既存のAI対応ツールやサービスを悪用するだけでなく、不正行為を可能にするために特別に構築されたAIツールやサービスへの関心と市場が高まっています。

ClickFix手法:信頼されたAIサービスの悪用

 新しいマルウェア技術ではありませんが、GTIGは、脅威アクターが生成AIサービスに対する一般の信頼を悪用してマルウェアを配信しようとする事例を観察しました。GTIGは、脅威アクターがGeminiを含む生成AIサービスの公開共有機能を活用して、欺瞞的なソーシャルエンジニアリングコンテンツをホストする新しいキャンペーンを特定しました。

 2025年12月初旬に最初に観察されたこの活動は、確立された「ClickFix」技術を介してマルウェアをインストールするようユーザーをだまそうとします。このClickFix技術は、悪意のあるコマンドをコマンドターミナルにコピーアンドペーストするようユーザーをソーシャルエンジニアリングするために使用されます。

 脅威アクターは、セーフティガードレールをバイパスして、macOS上でさまざまなタスクを実行する方法に関する悪意のある指示をステージングすることができました。最終的には、macOS環境を標的とし、ブラウザデータ、暗号通貨ウォレット、システム情報、およびデスクトップとドキュメントフォルダー内のファイルを収集する機能を持つ情報窃取マルウェアATOMICの亜種を配布していました。

 このキャンペーンの背後にいる脅威アクターは、ChatGPT、CoPilot、DeepSeek、Gemini、Grokなど、幅広いAIチャットプラットフォームを使用して悪意のある指示をホストしています。

 攻撃の流れは以下の通りです:

  1. 脅威アクターは、被害者がコピーアンドペーストした場合にマルウェアに感染する悪意のあるコマンドラインを作成
  2. 次に、脅威アクターはAIを操作して、一般的なコンピュータの問題(ディスクスペースのクリアやソフトウェアのインストールなど)を修正するための現実的な指示を作成しますが、悪意のあるコマンドラインをソリューションとしてAIに提供
  3. Geminiおよび他のAIツールにより、ユーザーは特定のチャットトランスクリプトへの共有可能なリンクを作成できるため、特定のAI応答を他のユーザーと共有できます。攻撃者は、AIサービスのインフラストラクチャでホストされている悪意のあるClickFixランディングページへのリンクを取得
  4. 攻撃者は悪意のある広告を購入するか、その他の方法で疑いを持たない被害者を公開共有されたチャットトランスクリプトに誘導
  5. 被害者はAIチャットトランスクリプトにだまされ、一見正当なコマンドラインスクリプトをコピーしてシステムのターミナルに直接貼り付けます。このコマンドはマルウェアをダウンロードしてインストールします

 このアプローチにより、脅威アクターは信頼されたドメインを活用して初期段階の指示をホストでき、ソーシャルエンジニアリングに依存して、実行の最終的な非常に破壊的なステップを実行します。広く使用されているアプローチですが、これはGTIGがAIサービスの公開共有機能が信頼されたドメインとして悪用されるのを初めて観察した事例です。

地下市場:XanthoroxとAPIキーの悪用

 正当なAIサービスは脅威アクターにとって人気のあるツールのままですが、悪意のある活動をサポートするために特別に設計されたAIサービスの市場は永続的です。英語とロシア語の地下フォーラムの現在の観察は、AI対応ツールとサービスへの持続的な関心があることを示しています。

 しかし、脅威アクターはカスタムモデルの開発に苦労しており、代わりにGeminiなどの成熟したモデルに依存しています。たとえば、「Xanthorox」は、マルウェアの自律的なコード生成やフィッシングキャンペーンの開発など、サイバー攻撃目的のカスタムAIとして宣伝されている地下ツールキットです。このモデルは、マルウェア、ランサムウェア、フィッシングコンテンツを自律的に生成するように設計された「オーダーメイドのプライバシー保護自己ホスト型AI」として宣伝されていました。

 しかし、GTIGの調査により、XanthoroxはカスタムAIではなく、実際にはGeminiを含むいくつかのサードパーティおよび商用AI製品を搭載していることが明らかになりました。このセットアップは、重要な悪用ベクトルを活用しています。具体的には、複数のオープンソースAI製品(Crush、Hexstrike AI、LibreChat-AI、およびOpen WebUI)の統合であり、Model Context Protocol(MCP)サーバーを介して活用され、商用モデル上にエージェント型AIサービスを構築しています。

 悪意のある操作のためにLLMサービスを拡張可能な方法で悪用するために、脅威アクターにはLLM統合を可能にするAPIキーとリソースが必要です。これにより、大規模なクラウドリソースとAIリソースを持つ組織にとってハイジャックリスクが生じます。

 さらに、脆弱なオープンソースAIツールは、ユーザーからAI APIキーを盗むために一般的に悪用されており、不正なAPI再販売とキーハイジャックの活発なブラックマーケットを促進し、広範な悪用を可能にし、影響を受けるユーザーにコストを負わせています。

Googleの対策と責任あるAI開発

 Googleによれば、AIへのアプローチは大胆かつ責任あるものでなければなりません。これは、課題に対処しながら、社会への肯定的な利益を最大化する方法でAIを開発することを意味します。

 GTIGは、悪意のある活動を阻止するための積極的な措置を講じています。これには、悪意のある行為者に関連するプロジェクトとアカウントの無効化、モデルの継続的な改善による悪用への耐性強化が含まれます。また、防御者に力を与え、エコシステム全体でより強力な保護を可能にするために、業界のベストプラクティスを積極的に共有しています。

 レポート全体を通じて、Googleは悪意のある活動を阻止するために講じた措置に言及しています。これには、アセットの無効化と、分類器とモデルの両方を強化するためのインテリジェンスの適用が含まれており、今後の悪用から保護されます。

 Googleのポリシーガイドラインと禁止使用ポリシーは、Googleの生成AIツールの安全性と責任ある使用を優先しています。Googleのポリシー開発プロセスには、新たなトレンドの特定、エンドツーエンドの思考、安全性のための設計が含まれます。Googleは、世界中のユーザーに拡張された保護を提供するために、製品の保護機能を継続的に強化しています。

 Googleでは、敵対者の運用を混乱させるために脅威インテリジェンスを活用しています。政府支援の脅威アクターによる悪意のあるサイバー活動を含む、製品、サービス、ユーザー、プラットフォームの悪用を調査し、必要に応じて法執行機関と協力しています。さらに、悪意のある活動への対策から得られた学習は、AIモデルの安全性とセキュリティを向上させるために製品開発にフィードバックされます。

 これらの変更は、分類器とモデルレベルの両方で行うことができ、防御の俊敏性を維持し、さらなる悪用を防ぐために不可欠です。Google DeepMindはまた、潜在的な脆弱性を特定するために生成AIの脅威モデルを開発し、悪用に対処するための新しい評価およびトレーニング技術を作成しています。

 Google DeepMindとGoogle Project Zeroによって開発されたBig SleepというAIエージェントも導入されました。これは、ソフトウェア内の未知のセキュリティ脆弱性を積極的に検索して発見します。Big Sleepは、実世界の最初のセキュリティ脆弱性を発見しており、脅威アクターによって使用される直前だった脆弱性の発見を支援し、GTIGは事前にそれを阻止することができました。

 また、Googleは脆弱性を見つけるだけでなく、パッチを適用するためにもAIを実験しています。最近、Geminiモデルの高度な推論機能を使用して重要なコード脆弱性を自動的に修正する実験的なAI搭載エージェントCodeMenderを導入しました。

まとめ

 Google Threat Intelligence Groupによる今回のレポートは、AI技術の悪用が多様化し、高度化していることを示しています。モデル抽出攻撃から国家支援型サイバー攻撃、AI統合マルウェアまで、脅威の範囲は広がり続けています。一方で、Googleは積極的な検知と対策、そして責任あるAI開発を通じて、これらの脅威に対処しています。AIモデルを運用する組織や、AI技術を活用する企業にとって、こうした脅威の実態を理解し、適切なセキュリティ対策を講じることが重要だと思います。

この記事が気に入ったら
フォローしてね!

  • URLをコピーしました!
  • URLをコピーしました!
目次