はじめに
本稿では、プライバシーを守りながらAIの性能を高めるための「合成データ」と「連合学習」という2つの重要な技術について、特にモバイルキーボード「Gboard」での応用例を交えながら分かりやすく解説します。
参考記事
- タイトル: Synthetic and federated: Privacy-preserving domain adaptation with LLMs for mobile applications
- 発行元: Google Research Blog
- 発行日: 2025年7月24日
- URL: https://research.google/blog/synthetic-and-federated-privacy-preserving-domain-adaptation-with-llms-for-mobile-applications/
要点
- AIモデルの性能向上には高品質なデータが不可欠であるが、ユーザーデータの利用にはプライバシーリスクが伴う。
- Googleは、プライバシーを保護する「連合学習（FL）」と「差分プライバシー（DP）」を組み合わせた技術をGboardのAIモデル訓練に全面的に採用している。
- さらに、大規模言語モデル（LLM）を用いて、実際のユーザーデータに似せた「合成データ」を生成し、これをモデルの事前学習に利用することで、プライバシーリスクを最小限に抑えつつ性能を向上させている。
- この合成データは、小規模なモデルだけでなく、大規模なモデルのドメイン適応（特定の用途への最適化）にも有効である。
- プライバシー保護下でユーザーデータから学習した「バットレスモジュール」という小規模モデルを使い、合成データ生成の質をさらに高めるアプローチも開発されている。
詳細解説
背景：AI開発におけるデータとプライバシーのジレンマ
AI、特に人間のように言葉を操る言語モデルは、大量のテキストデータを学習することでその性能が向上します。特に、スマートフォンでのチャットのやり取りのような、ユーザーが日常的に生成するデータは、AIを特定の用途（これを「ドメイン」と呼びます）に最適化させる上で非常に価値のある、高品質な情報源となります。
しかし、これらのデータを無防備に利用することには大きなリスクが伴います。最も懸念されるのが、AIモデルが学習データに含まれる個人情報や機密情報を「記憶」してしまう「Memorization（記憶化）」という現象です。この課題を解決し、ユーザーのプライバシーを守りながらAIを賢くするための技術が求められています。
解決策1：プライバシーを守る学習方法「連合学習」と「差分プライバシー」
Googleは、ユーザーのプライバシーを保護するための2つの重要な技術を組み合わせて利用しています。
- 連合学習 (Federated Learning, FL)
これは、ユーザーの生データをサーバーに集めることなく、AIモデルを学習させる技術です。具体的には、学習プロセスを各ユーザーのスマートフォン上で行い、そこで得られたモデルの改善点（専門的には「更新差分」と呼ばれます）だけを暗号化してサーバーに集約します。これにより、個々の具体的なデータがデバイスの外に出ることを防ぎます。 - 差分プライバシー (Differential Privacy, DP)
連合学習で集められた更新差分に対しても、さらなるプライバシー保護策が施されます。差分プライバシーは、集約されたデータに数学的な処理（統計的なノイズの追加）を施すことで、そのデータセットから特定の個人の情報が学習にどう影響したかを分析・特定できないようにする技術です。これにより、仮にデータが外部に漏れたとしても、個人のプライバシーが厳密に保護されます。
現在、Gboardでユーザーデータを利用して学習される全ての言語モデルには、この2つを組み合わせた「DP-FL」という手法が採用されており、プライバシー保護が徹底されています。
解決策2：プライバシーリスクのない訓練データ「合成データ」の活用
プライバシー保護技術と並行して、Googleが注力しているのが「合成データ」の活用です。これは、大規模言語モデル（LLM）を使って、本物のユーザーデータに非常によく似たデータを人工的に生成するアプローチです。
実際のユーザーデータに一切アクセスすることなく、LLMに巧みな指示（プロンプト）を与えることで、モバイルキーボードで使われるような自然な会話データを大量に作り出すことができます。元記事で紹介されているプロンプトの例を見てみましょう。
- データの選別: 「この話題は携帯電話で議論されそうか？」 → 公開されている膨大なデータの中から、モバイルでの会話に適したトピックを抽出します。
- 形式の変換: 「この記事を携帯電話でメッセージをやりとりするような会話形式に変換して」 → 既存の文章を、より口語的なチャット形式に書き換えます。
- 直接生成: 「携帯電話で家族とメッセージをやりとりしていると想像して。チャットを生成して」 → 特定のシナリオに基づいて、全く新しい会話データを生成します。
このようにして作られた合成データは、プライバシーのリスクがなく、開発者が事前に内容をチェックすることも可能です。この安全な合成データを使ってAIモデルを事前学習させることで、Gboardの次単語予測の精度が22.8%も向上するなど、大きな成果を上げています。
応用：LLM自体の改善と「バットレスモジュール」
この合成データの技術は、デバイス上で動く比較的小さなモデルだけでなく、Gboardの高度な文章校正機能などを支えるLLM自体の性能向上にも応用されています。例えば、よくある文法ミスや入力ミスを意図的に含ませた合成データ（誤った文と正しい文のペア）をLLMに学習させることで、文章校正能力を高めることができます。
さらに、Googleの研究チームは「バットレスモジュール (Buttress Modules)」という、より進んだアプローチを紹介しています。
これは、前述の「DP-FL」を用いて、プライバシーを完全に保護した形でユーザーデータから学習した、非常に小さなAIモデルです。このモジュールは、「実際のモバイル環境でユーザーがどのように言葉を使うか」という貴重な知識を持っています。
このバットレスモジュールを「目利き役」として使い、LLMが生成した大量の合成データの中から、より本物のユーザーデータに近い、質の高いものを選び出して重み付けを行います。これにより、公開データだけでは捉えきれない、特定のドメインの微妙なニュアンスを合成データに反映させ、LLMの性能をさらに引き出すことが可能になります。「バットレス」とは「支える」という意味で、その名の通り、LLMによる高品質な合成データ生成を強力に下支えする役割を担っています。
まとめ
本稿では、GoogleがGboardなどのモバイルアプリでAIの性能を向上させるために採用している、最先端のプライバシー保護技術について解説しました。
「連合学習」と「差分プライバシー」によってユーザーデータを安全に活用する基盤を固めつつ、LLMによる「合成データ」を組み合わせることで、プライバシーリスクを最小化しながらモデルの性能を効果的に高めています。 特に、プライバシー保護下で得られた知見を「バットレスモジュール」という形で活用し、合成データの質をさらに向上させるというアプローチは、今後のAI開発におけるプライバシーと性能の両立に向けた、重要な方向性を示していると言えるでしょう。これらの技術は、私たちがより安全に、そしてより便利にAIの恩恵を受けられる未来に繋がっています。
