［開発者向け］主観的な基準をAIと一緒に詰める、Googleの画像分類手法「Agile Deliberation」

2026-11-052026-11-06

はじめに

　Google Researchは2026年11月4日、新しい手法「Agile Deliberation」を発表しました。「健康的な食べ物」のように人によって基準が揺れる画像分類を、AIとの対話で詰めていく手法です。仕組み、利用者実験の結果、公開コードの試し方を順に解説します。

参考記事

タイトル: Agile Deliberation: How AI helps humans define the gray areas
著者: Otilia Stretcu、Leijie Wang
発行元: Google Research
発行日: 2026年11月4日
URL: https://research.google/blog/agile-deliberation-how-ai-helps-humans-define-the-gray-areas/

要点

Agile Deliberationは、主観的な基準の画像分類器を、人とAIの対話を通じて作るGoogle Researchの枠組みである
手順は、概念を含めるものと除外するものに分ける段階と、境界の画像への判断で定義を磨く段階の2つである
各1.5時間・18回のライブセッションで評価され、作られた分類器は3つの比較手法をいずれも上回った
手作業の検討と比べて労力とストレスは有意に減り、全参加者がAgile Deliberationを好んだ
コードはGitHubで公開されており、「健康的な食べ物」を例にしたデモが用意されている

詳細解説

主観的な基準を「対話」で詰める枠組み

　Agile Deliberationは、主観的なカテゴリの画像分類器を作るための枠組みです。利用者は対話形式の手順に沿って、下位カテゴリの整理から境界事例の判断までを進めます。その判断をもとに、LLM（大規模言語モデル）を使った最適化ループが分類器を自動で組み立てます。

　分類器は、画像が指定したカテゴリに当てはまるかを判定する仕組みです。止まれの標識のように境界が明確な対象なら、従来の作り方で機能します。一方、何を「健康的な食べ物」とみなすかは人や組織で変わります。コンテンツモデレーション（投稿内容の審査）も同様です。

　従来の機械学習は、ラベルを付ける人が最初から明確な定義を持つと仮定してきました。しかし人は、主観的な概念の完全な仕様を頭の中にさえ持たないのが普通です。実際の例に出会うことで、境界や例外に気づいていきます。この移り変わりは「概念の変化（concept evolution）」と呼ばれます。

　この研究は、AIを利用者が自分の定義を明確にするための協力相手と位置づけます。社内の審査基準が運用しながら改訂されるのと同じ構造です。最初に完璧な基準書を作るより、例を見て直す前提の方が実態に合っているとみられます。

　論文はCVPR 2026で発表されました。研究はGoogle ResearchとGoogle Adsの連携で進められています。

段階1：概念を分解する「コンセプト・スコーピング」

　手順は前半の「コンセプト・スコーピング」と、後半の「コンセプト・イテレーション」に分かれます。全体の流れは次のとおりです。

対象の概念を、分類器に拾わせたい「対象範囲（in-scope）」と、拾わせたくない「対象外（out-of-scope）」の定義に分解する
判断が分かれそうな境界の画像を検索し、例外的なケースを浮かび上がらせる
利用者のフィードバックを、プロンプト（AIへの指示文）を自動で改善するループに渡す
そのまま使える画像分類器を生成する

　対象外の定義は、誤検知（false alarm）を防ぐための明示的な線引きです。スコーピングでは、システムが大きな概念を下位概念と除外条件に分解するよう導きます。広いテーマでは、すべてのルールを最初に列挙するのが難しいためです。発表で示された例は次のとおりです。

含めるもの（下位カテゴリ）：サラダ、グレインボウル、脂肪の少ないたんぱく質
除外するもの：加工食品、調理されていない生の食材

　1つの大きなラベルの代わりにこの構造を作ることで、最初の基準ができます。除外するものを先に言葉にしておくと、境界の論点がはっきりしやすいと言えます。

段階2：境界例で定義を磨く「コンセプト・イテレーション」

　この段階は、学習に役立つデータを選ぶ能動学習（active learning）から着想を得ています。ただし、モデルの不確かさを減らすためだけに例を選ぶわけではありません。VLM（視覚言語モデル）を使い、意味的に境界にある画像を探して提示します。今の定義では判断が揺らぐ例を見せるのが狙いです。

　たとえば「健康的な食事」に対して、フルーツスムージーの画像が示されることがあります。利用者は次のような判断を迫られます。

生の果物を含むので、健康的な飲み物に入れるか
糖分が多いので、除外対象の加工食品とみなすか

　こうした例に向き合うと、利用者は隠れた前提に気づき、ルールを更新します。そのフィードバックは自動のプロンプト最適化ループに送られます。VLMの分類の境界は、利用者の定義に合わせて動きます。

　基準が指示文として表されるため、学習データを作り直さずに定義の変更を反映できる構成とみられます。

検証結果：性能・一貫性・負担のすべてが改善

　主観的な分類器には、固定的な正解データがありません。そこで動作するプロトタイプを作り、各1.5時間のライブセッションを18回実施しました。慣れによる偏りを防ぐため、手法を使う順序はランダムにしています。

　対象は、主観性の強い「健康的な食べ物」と「Pay-to-Play」の2分野です。Pay-to-Playは、オンラインのエンタメやゲームで誤解を招く報酬をうたうクリックベイト画像を見分ける課題です。比較対象は次の3方式でした。

ゼロショット分類器：利用者が最初のプロンプトを書いて終わりにする方式。境界の事例を見て調整する手段がない
Modeling collaborator：AIエージェントが自ら概念を分解する自動化された方式（CVPR 2024で発表された手法）。利用者は論理を修正できない
手作業での検討：スプレッドシートでデータを見て、検索語を推測し、プロンプトを手で書き直すやり方

　Agile Deliberationの参加者は、時間を通じたラベル付けの一貫性が大幅に高まりました。作られた分類器は、比較手法をすべて大きく上回りました。差が最も大きかったのは、主観性が特に強い難しい画像です。従来の分類器は、ここでAIの一般的な前提に頼って失敗しがちです。

　2分野のどちらでも、ゼロショットに対して一貫して性能が伸びました。一方、手作業での検討は精度が上がらないことが多く、下がる場合もありました。専門家の参加者からは、境界の画像を見て最初の定義の「死角」に気づけたという報告もありました。

　負担の面でも差が出ました。手作業では、例外を探す検索語の予想に強い疲労がありました。1つ直すと別の部分が崩れるかもしれない不安も続いていました。Agile Deliberationでは、利用者は境界画像を見て自然な言葉で返すだけです。手作業と比べた結果は次のとおりです。

必要な労力とストレスが、統計的に有意に減った
精神的な負荷が下がった
「うまくできた」という実感と使いやすさの評価が高まった

　全参加者が、手作業よりAgile Deliberationを好みました。

仕事のどんな場面に関係するか

　Google Researchは、人間参加型（human-in-the-loop）の機械学習を、人とAIの双方向の協力に変える研究と位置づけています。想定される利用場面は次のとおりです。

信頼・安全（Trust & Safety）チームが、より安全なコンテンツモデレーションのフィルターを作る
キュレーターが、デジタルコレクションを形づくる
研究者が、複雑な画像データを分類する

　個人や小規模事業者にも近い場面があります。ECの商品画像のブランド基準の確認、ユーザー投稿の審査、広告画像の事前チェックなどです。どれも許容範囲が担当者の頭の中にあり、言葉にしにくい点で共通します。

　コードを動かせなくても、考え方は生成AIでの画像判定に取り入れやすいと言えます。含めるものと除外するものを分けて書きます。迷う例を集めて判断を記録し、その結果で指示文を直します。直すたびに過去の判定例でまとめて確認すると、手作業でも不安を和らげやすいとみられます。

試すには：GitHubのデモから始める

　GitHubでのオープンソース実装と、対話型のColab/Jupyterデモが案内されています。Colabは、Googleが提供するブラウザ上のノートブック環境です。試す流れは次のとおりです。

GitHubのagile_deliberationディレクトリを開き、構成を確認する
Demo.ipynbを開き、「健康的な食べ物」の例を順に進める
自分が詳しい分野、または自分の好みに置き換えて分類器を作る

　必要なモデルやAPIキー、利用料金は発表に含まれていないため、事前にリポジトリの説明を確認してください。Google製品としての提供や、日本語での利用への対応は公表されていません。アルゴリズムの詳細は論文で確認できます。

まとめ

　Agile Deliberationは、主観的な画像分類の基準を、境界例への判断を通じて人とAIが一緒に固める手法です。18回の検証では、分類器の性能と利用者の判定の一貫性が高まり、作業の負担も軽くなりました。結果は2分野での検証に限られますが、基準を最初から完璧に書けない前提に立つ設計は、実務の感覚に近いと言えます。