［開発者向け］GoogleがオンデバイスGPU推論エンジン「ML Drift」をオープンソース化——TFLite GPUデリゲートの後継を読み解く

2026-10-14

はじめに

　Googleが2026年10月8日、Google Developers Blogで、オンデバイスAI推論向けのGPU計算エンジン「ML Drift」をApache 2.0ライセンスで公開しました。本稿では、開発の背景、従来のTFLite GPUデリゲートからの構造的な変更点、導入事例、移行方針と始め方を整理して解説します。

参考記事

タイトル: ML Drift: Next-Gen GPU AI/ML Inference at the Edge
著者: Chintan Parikh、Juhyun Lee
発行元: Google Developers Blog
発行日: 2026年10月8日
URL: https://developers.googleblog.com/ml-drift-next-gen-gpu-aiml-inference-at-the-edge/

http://jobirun.com/google-gemma-4-qat-mobile-optimization/

要点

GoogleがオンデバイスGPU推論エンジン「ML Drift」をApache 2.0でオープンソース化した
OpenGL ES・OpenCL・Metal・WebGPUを抽象化し、LiteRTの中核GPUエンジンとしても単体ライブラリとしても使える
テンソル仮想化、5次元テンソル対応、LLMの段階別最適化などを導入し、Gemmaのベンチマークではメモリ使用量を最大12%削減した
YouTube Shorts、Google Photos、Chrome、Adobe、Snapなどで既に本番稼働している
従来のTFLite GPUデリゲートは新機能の追加が終了し、LiteRT ML Drift GPUアクセラレータへの移行が推奨される

詳細解説

ML Driftとは何か

　Googleによれば、ML Driftはオンデバイス（端末上）でのAI/ML推論に特化して作られた、高性能かつクロスプラットフォームのGPU計算エンジンです。OpenGL ES、OpenCL、Metal、WebGPUといった低レベルのグラフィックスAPIや、端末ごとのハードウェアの違いを抽象化することで、動画エフェクトから生成AIまで、リアルタイムで対話的な機能を複数のプラットフォームで構築できるようにすることを狙っています。

　位置づけとしては、Googleのオンデバイス推論ランタイム「LiteRT」（旧TensorFlow Lite）の中核となるGPU高速化エンジンであると同時に、独自のグラフィックス処理や推論ランタイムに組み込める単体ライブラリとしても提供されます。ソースコードはGitHubの google-ai-edge/ml-drift リポジトリで公開されています。

　LiteRTを使っている開発者にとっては「内部のGPUエンジンが入れ替わる」話であり、独自ランタイムを持つ企業にとっては「部品として使えるGPU推論基盤が公開された」話でもあると読めます。読者の立場によって受け止め方が分かれる発表だと思います。

開発の背景——エッジGPUの多様性という壁

　データセンターでの推論は、同じ種類のアクセラレータが並ぶ予測しやすい環境で行われます。一方、エッジ端末にGPU推論を展開する場合は、GPUアーキテクチャ、ドライバーのバージョン、低レベルAPIが端末ごとに大きく異なり、開発者は自分のアプリがどのハードウェアで動くかを事前に知ることができません。

　これまではTensorFlow LiteのGPUデリゲート（推論処理の一部をGPUに委ねる仕組み）がGPU高速化の土台を担ってきました。しかし現在のオンデバイス処理は、リアルタイムの画像認識・音声・深度推定から、パラメータ数の多い生成AIまで幅広く、従来のランタイムが想定していなかった計算量とメモリの制約に直面しているとGoogleは説明しています。そこで、Googleの研究ブログ「Speed is all you need」で示された拡散モデルのGPU最適化の考え方を踏まえ、従来型のMLには安定性を、最新の生成AIには最高性能を提供する統一基盤としてML Driftを構築したとしています。

　スマートフォン上で画像生成やLLMを動かす取り組みが増えるなか、「どの端末でも動く」ことと「速く動く」ことを両立させる基盤が求められるのは自然な流れだと考えられます。LiteRTとGemma 4を使ったRaspberry Pi向けのエッジAI開発の流れとも、つながる動きと受け止めています。

TFLite GPUデリゲートからの5つの構造的変更

　ML Driftは、従来のTFLite GPUデリゲートに対して、次のような構造的な変更を加えています。

テンソル仮想化による統一シェーダー: 従来は、論理的なテンソルをテクスチャやバッファといったGPU上の物理オブジェクトへ対応づける処理を、OpenGL・OpenCL・Metalのバックエンドごとに個別に書き込む必要がありました。ML Driftはテンソルの論理表現とGPU上の物理的な割り当てを切り離し、コンパイラの初期化時に動的なシェーダーテンプレートが座標を解決・変換します。これにより、バックエンド別のシェーダーコードを保守する必要がなくなり、実行時のオーバーヘッドも最小限に抑えられるとされます。
拡張可能なカスタムオペレーター基盤: 低レベルのシェーディング言語に直接アクセスできる登録APIを備えています。さらにAIエージェント向けの手引き「SKILL.md」が同梱されており、コーディングエージェントが高性能なカスタムシェーダーを数分で作成・登録・検証できるとGoogleは述べています。
5次元テンソル対応: TFLite GPUデリゲートは構造上4次元テンソルに固定されており、5次元テンソルを要するモデルではレイアウト上の工夫が必要でした。ML DriftではLiteRT ML Drift GPUアクセラレータで5次元テンソルを標準サポートし、立体・空間AI向けの3D畳み込みネットワークや時空間モデル（YOLO 11n、MobileViT v2、Swin Transformer v2など）をエッジGPUで直接実行できるようになりました。
従来型モデルの性能向上: 旧GPUバックエンドの直接の後継として、ハードウェア固有の制約からランタイムを切り離し、カーネル実行効率を改善しています。TFLite GPUで動いていたモデルは、移行するだけで性能向上が得られ、従来のベンチマークを維持または上回るよう設計されているとされます。
エッジLLM向けの段階別最適化: 自己回帰型LLMの推論には、計算量が律速となるKVキャッシュのプリフィル段階と、メモリ帯域が律速となり1トークンずつ生成するデコード段階があります。ML Driftは実行中の段階に応じてカーネルとレイアウト設定を動的に切り替え、デコード段階では畳み込みに整合させた独自のKVキャッシュ配置と、カーネル内での積極的な活性値量子化によって、無駄なメモリ往復を避けています。

　補足すると、KVキャッシュとは、LLMが過去のトークンの計算結果を保持して再計算を省くための領域です。プリフィル（入力文をまとめて処理する段階）とデコード（1トークンずつ出力する段階）ではボトルネックが異なるため、段階ごとに最適化を変えるのは理にかなった設計と考えられます。また、カスタムオペレーター作成をAIエージェントに任せる前提でSKILL.mdを同梱している点は、ライブラリの使い方そのものがエージェント時代に合わせて変わりつつあることを示しているように読めます。

ベンチマーク条件とデスクトップへの展開

　Googleはモバイル向けLLM性能の比較グラフを公開しており、計測条件は次のとおりです。グラフではプリフィルとデコードのスループットが示され、Gemma4 E2BについてはクロスKV共有に対応したフレームワークの方が有利だと注記されています。

プリフィル512トークン、デコード128トークン、コンテキスト長640
4ビット重み（ブロックサイズ32）、fp16のKVキャッシュ
argmaxサンプリング、トークンごとに同期

　さらに、ML Driftはデスクトップ向けにもプレビュー提供されています。もともとブラウザ内の高速化のために作られたWebGPUバックエンドを、ChromiumのWebGPU実装であるDawnを使ってブラウザ外でネイティブにコンパイルできるようにし、WindowsとLinuxで動作させています。これによりDirectXやVulkanの分断を回避しつつ、macOSでは既存のMetalバックエンドと組み合わせる構成です。Googleは、エージェント型コーディングの時代にはローカルのコーディングエージェントを支えるデスクトップ推論の応答性が重要になるとしています。

　ワークステーション上でGemmaを動かした初期の計測も公開されており、条件はプリフィル8192トークン、デコード1024トークン、コンテキスト長9216で、その他はモバイルと同じです。Googleによれば、Gemmaのベンチマークでは、ML Driftは他のフレームワークよりメモリのオーバーヘッドを最大12%削減しています。

　ピーク性能だけでなくメモリ使用量を強調している点は、実務的に重要だと思います。端末上では推論以外のアプリも同時に動くため、メモリに余裕があるかどうかが「実際に載せられるか」を左右することが多いと考えられます。なお、主眼はあくまでモバイル・エッジであり、デスクトップは初期のスナップショットとされている点には留意が必要だと思います。

本番環境での導入実績

　Googleによれば、ML Driftは既に毎日数百万台の端末で本番稼働しており、Chrome、YouTube Shorts、Google Photos、Google Meetの主要機能を支えています。Google AI Edgeのアプリ「Gallery」「Foresight」「Eloquent」の実行基盤でもあります。公表されている主な効果は次のとおりです。

YouTube Shorts: セグメンテーション（被写体の切り抜き）ベースのエフェクトをML Driftへ移行し、AndroidとiOSの双方で平均フレーム遅延を最大40%削減しました。
Google Photos: 計算写真とセグメンテーションの処理に統合し、旧GPUデリゲート比で最大2秒の高速化を実現しました（ぼかし補正機能「Unblur」など）。
Google Chrome: Gemini NanoをハードウェアでGPU高速化し、組み込みAI API（Prompt、Summarize、Writer）を支えています。Cafe24によるPrompt APIを使ったタグ生成の事例も紹介されています。
Adobe Lightroom / Photoshop: 被写体選択、空の選択、アダプティブポートレートなどのAI機能をML Driftで刷新し、モバイルでのオンデバイス処理が最大30%高速化しました。
Snap: Android端末でLiteRTによるGPU推論を導入し、Snapchatレンズの顔・スタイル生成エフェクトでモデル遅延を30%改善しました。大規模な拡散モデルの実行にも道を開いたとしています。

　自社製品だけでなく、Adobeのような外部の大手アプリで効果が数値で示されている点は、導入を検討する開発者にとって判断材料になると考えられます。

ハードウェアパートナーとの共同最適化

　GoogleはML Driftの開発にあたり、半導体・IPパートナーと緊密に協力して、最新GPUの性能を引き出す最適化を進めたとしています。

Arm: MaliおよびImmortalis GPU向けに計算カーネルとテクスチャキャッシュの局所性を共同最適化し、モバイルで高スループットかつ省電力な推論を実現
Intel: ネイティブのWebGPU計算とXe Matrix Extensions（XMX）を活用し、Xe3グラフィックス搭載のIntel Core Ultraプロセッサー上でLLMと画像処理を高速化
Qualcomm: Adreno GPU向けにOpenCLカーネルを最適化し、演算器（ALU）とメモリ帯域の利用率を最大化

　主要なモバイルGPU（Arm・Qualcomm）とPC向けGPU（Intel）を押さえていることから、幅広い端末で一定の性能が期待できる体制が整えられていると受け止めています。

移行方針と始め方

　ML Driftの公開に伴い、従来のTFLite GPUデリゲートには新機能が追加されなくなります。Googleは、既存モデルとの完全な後方互換性を備えたLiteRT ML Drift GPUアクセラレータへの移行を推奨しています。アプリのバイナリサイズを抑えるためにアンバンドル版ランタイムを使うAndroid開発者向けには、単体のLiteRTパッケージで既に利用でき、Google Play開発者サービス経由のLiteRTにも近日提供予定とされています。

　利用の入口は、目的に応じて2つ用意されています。

アプリ開発者の場合: LiteRT ML Drift GPUアクセラレータを使います。モデルの分割、テンソル仮想化、LLM高速化が追加設定なしで利用できます。
GPU・システムエンジニアの場合: GitHubリポジトリのC++ APIを直接使い、独自の GpuModel 計算グラフを構築したり、カスタムシェーダーを書いたりできます。リポジトリには「OpenCL on Android」と「WebGPU via Dawn」のクイックスタート文書が用意されています。

　注意: 参考記事には具体的なコードは掲載されていないため、本稿ではコード例を示していません。実際に手を動かす場合は、上記のクイックスタート文書を最初に参照するのが近道だと思います。

　コミュニティへの参加窓口として、次の場所が案内されています。

ソースコード: github.com/google-ai-edge/ml-drift
不具合報告・機能要望: GitHubのIssue
議論・Q&A: Google AI Edge Community Forum（LiteRTリポジトリのDiscussions）
貢献: Contributing Guide（新しいUCLオペレーターやハードウェア固有の最適化の追加方法）

　既存のTFLite GPUデリゲート利用者にとっては、新機能の追加が止まることを踏まえ、後方互換性があるうちに検証を始めておくのが現実的な選択肢の一つだと考えています。

まとめ

　ML Driftは、端末ごとに異なるGPU環境を抽象化し、従来型モデルから生成AIまでを一つの基盤で高速化するエンジンです。導入効果は既に示されており、TFLite GPUデリゲート利用者は移行を検討する時期に入ったと読めます。モバイル向けの量子化については、Gemma 4 QATモデルの解説もあわせてご覧ください。