Geminiにエージェント型動画理解が登場 — 動画を動的に探索しトークンを最大88%削減

Googleは9月1日、Geminiの最新Flash系モデル向けに「エージェント型動画理解（agentic video understanding）」をリリースした。従来の固定フレームレートでの一括処理ではなく、モデル自身が動画のタイムラインを動的に探索し、必要なときにトランスクリプト、フレーム、音声トラックを要求する方式に切り替える。Gemini API（Google AI Studio）とGemini Enterprise Agent PlatformのInteractions API / GenerateContent APIで利用できる。

対象はGemini 3.7 Flash、3.6 Flash、3.5 Flash-Liteの3モデル。アップロード動画とYouTube動画の両方で有効で、APIのガイドに沿って有効化できる。Googleは「最新モデルの精度向上に加え、コストとトークン使用量を削減する」と説明している。

何が変わるのか

• 動的なタイムライン探索: モデルが質問やタスクに応じて動画内を移動し、関連区間だけを深掘りする。不要なフレームの全量処理を避けることで、長尺コンテンツでも効率的に推論できる。
• オンデマンド取得: 必要に応じてトランスクリプト、フレーム、音声を個別に要求。固定サンプリングではなく、文脈に応じた最小限の情報で回答を生成する。
• 長尺でのトークン効率: GoogleのAPI変更履歴では、長尺コンテンツで最大88%少ないトークンで処理できるとしている。二次情報では最大66%のコスト削減や最大7%の精度向上も報じられているが、一次情報が明示する数値はトークン削減の88%であり、精度・コストの具体値は一次情報の記述では定量化されていない。

出典: Introducing agentic video understanding with Gemini

出典: Introducing agentic video understanding with Gemini

提供形態と使い方

• 提供場所: Gemini API（Google AI Studio）とGemini Enterprise Agent Platform。ドキュメントの「Agentic video understanding」ガイドで利用手順を公開している。
• 対応API: Interactions APIとGenerateContent APIの両方で利用可能。従来の動画入力と同様に動画を渡し、モデル側がエージェント的に追加情報を取得するフローになる。
• 適用モデル: gemini-3.7-flash、gemini-3.6-flash、gemini-3.5-flash-lite。いずれもFlash系の高速モデルで、長時間動画や多数動画のバッチ処理でのコスト効率が期待される。

評価と位置づけ

Googleは本機能を「精度向上とトークン削減の両立」と位置づけ、動画理解の評価結果を2点のチャート・表で公開している。詳細なベンチマーク条件は公式ブログの画像を参照されたい。API変更履歴では長尺での88%削減を明示しており、固定フレーム処理がボトルネックになっていたユースケースでの改善幅は大きい。

今後は、YouTube要約や会議録の要点抽出、監視映像のイベント検出など、長尺動画を横断的に探索する必要があるタスクでの活用が想定される。モデルが自律的に「どこを見るべきか」を判断する設計は、動画理解をテキストのRAGのように“必要な断片だけを取る”アプローチへ近づけるものだ。

出典

• Introducing agentic video understanding with Gemini
• Gemini API changelog — September 1, 2026 Agentic video understanding