［開発者向け］Gemini APIに「エージェンティック動画理解」——トークン最大88%削減の仕組みと使い方

2026-09-03

はじめに

　Google DeepMindが2026年9月1日、動画の必要な部分だけをモデルが選んで解析する「agentic video understanding」をGemini APIで公開しました。今年1月のAgentic Visionの動画版にあたる機能です。本稿では仕組みと効率化の数値、呼び出し方を解説します。

参考記事

メイン記事:

タイトル: Introducing agentic video understanding with Gemini
著者: Rohan Doshi、Mario Lučić
発行元: Google (The Keyword)
発行日: 2026年9月1日
URL: https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-agentic-video-in-gemini/

要点

agentic video understandingは、Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Liteの3モデルで利用できる動画解析機能である
固定フレームレートで動画全体を取り込む静的処理とは異なり、モデルが参照する区間・速度・モダリティ(映像フレーム、音声、文字起こし)を自ら決める
Googleによれば、標準的な動画解析ベンチマークでトークン消費を最大88%、解析コストを最大66%削減し、精度を最大7%向上させた
APIの設定で processing を「agentic」に指定するだけで有効化でき、追加の機能料金は発生しない
動画アップロードとYouTube動画に対応し、Google AI StudioとGemini Enterprise Agent Platform経由で提供される

詳細解説

静的処理との違い

　従来の動画解析では、モデルが動画を一定のフレームレートで取り込む「静的処理」が用いられてきました。Googleの説明によれば、既定値は1秒あたり1フレーム(1 FPS)で、API経由での変更が可能です。これに対し agentic video understanding では、モデルの推論能力とネイティブの動画ツールを組み合わせ、対象となる区間を動的に検索・走査・精査します。参照先は映像フレームだけでなく、音声や文字起こしにも及びます。

　言い換えると、モデルが 何を、どの速度で、どのモダリティで見るか を自ら決める構成になっています。Googleは、こうした処理を開発者が手作業で組むことは以前から可能だったとしたうえで、今回はモデルが内部ツールを呼び出すエージェントループとして完結するため、開発側の実装負担が減ると説明しています。画像を段階的に分析するAgentic Visionと同じ発想を、時間軸を持つ動画に広げたものと考えられます。

公表されたベンチマーク結果

　Googleによれば、標準的な動画解析ベンチマークにおいて、agentic video understandingを有効にしたGeminiモデルは 解析コストを最大66%、トークン消費を最大88%削減しつつ、精度を最大7%改善 しました。この効率化は、10分程度のハウツー動画から90分の講義、数時間の記録映像まで、長尺コンテンツで特に大きくなるとされています。長尺動画の静的処理では、高いトークンコストを払うか、フレームを間引いて重要な情報を落とすかの二択になりやすい、というのが背景の説明です。

　3モデルすべてで改善が見られたものの、総合的な品質と、品質とコストのバランスの双方で最も優れていたのはGemini 3.7 Flashだったとされ、Googleは検証対象モデルの中で精度対コストのパレートフロンティアに位置すると表現しています。パレートフロンティアは、ある指標を犠牲にしなければ別の指標を改善できない最適な組み合わせの集合を指す用語です。実務的には、同じ精度をより安く、あるいは同じコストでより高い精度を得られる選択肢だと読み替えられます。ただしこれらは自社ベンチマークでの数値であり、実際の効果は扱う動画の長さや質問の種類に左右されると考えられます。

想定されるユースケース

　Googleは、長尺動画を扱う用途として次の4つを挙げています。

サブ秒単位のモーメント検索: 1 FPSでは見落としやすい一瞬の状態変化やカットの境界を特定し、自動での動画編集につなげる
長尺動画の「干し草の中の針」検索: 数時間の動画に対する複雑な問い合わせに、数百万トークンを消費せずに回答する
異常検知: 注目すべき時間帯をより高いFPSで再サンプリングし、速い動きや微細な視覚的アーティファクトを確認する
動作・物体のカウント: 繰り返される身体動作や個別の物体を、時間をまたいで正確に追跡する

　いずれも、必要な箇所だけ解像度を上げて見直すという動きが効いているものだと思います。特に異常検知やカウントは、従来1 FPSの制約で取りこぼしが起きやすかった領域であり、動的なFPS変更が精度に効くのは自然な結果だと考えられます。

有効化の方法とコード例

　利用にあたっての前提は、Gemini APIにアクセスできる環境と、対応モデル(Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Lite)の指定です。有効化の操作自体は単純で、API設定で processing を「agentic」にするだけだとされています。以下は参考記事に掲載されているPythonのサンプルコードで、YouTube動画をエージェント的に解析し、内容について質問する例です。

from google import genai

client = genai.Client()

interaction = client.interactions.create(

    model="gemini-3.7-flash",

    input=[

        {

            "type": "video",

            "uri": "https://youtu.be/7Z5Vy9JBANs",

            "processing": "agentic"

        },

        {

            "type": "text",

            "text": "What are the 3 most important announcements in this keynote?",

        },

    ],

)

print(interaction.output_text)

　要点は入力側の指定にあります。input に渡す動画オブジェクトで、uri に動画の場所(YouTubeのURLまたはアップロード済みファイル)を、processing に “agentic” を指定します。この processing を省略するか別の値にすれば従来の静的処理となるため、既存コードとの切り替えは1行の差だと考えられます。model には対応3モデルのいずれかを指定します。上のコードは参考記事のサンプルをそのまま引用したもので、本稿では動作確認を行っていません。

　なお、client.interactions.create は Gemini API の Interactions API に対応する呼び出しです。SDKのバージョンによって利用可能なメソッドが異なる場合があるため、うまく動かない場合は google-genai パッケージを最新版に更新したうえで、公式の開発者ガイドを確認することをおすすめします。

提供範囲と今後の展開

　この機能は、Google AI StudioのGemini APIとGemini Enterprise Agent Platformの双方で提供され、動画アップロードとYouTube動画の両方に対応します。課金は通常のGemini APIのトークン料金に従い、機能利用のための追加料金は設定されていないとされています。Google Cloudのドキュメントでも、動画理解に対応するモデルとしてGemini 3.7 Flash、3.6 Flash、3.5 Flash-Liteが掲載されています。

　Googleはさらに、この効率と品質の改善をGoogle製品側にも展開する方針を示しています。GeminiアプリではFlashおよびFlash-Liteモデルで順次提供され、今後数か月のうちにYouTubeの「Ask YouTube」機能の基盤としても使われる予定だと説明されています。API提供にとどまらず、消費者向けサービスの応答品質にも反映されていく流れだと考えられます。

まとめ

　agentic video understandingは、動画を丸ごと取り込むのではなく、必要な区間だけをモデルが選んで見に行く方式です。Googleが示したトークン最大88%削減は、長尺動画の解析コストが課題だった用途で意味が大きいと考えられます。Gemini API周辺の動向は、過去記事でも整理していますので、あわせてご覧いただければと思います。