はじめに
Anthropicは2026年9月、AIが自社のAI開発にどれだけ関与しているかを測る指標を公開しました。AI主導の研究開発・AIエージェントの監視体制・安全研究への計算資源配分という3つの観点から、自社の内部データを使った測定結果を示しています。本稿ではその内容を解説します。
参考記事
- タイトル: Measurements for understanding the pace of AI development inside frontier labs
- 著者: Marina Favaro、Phillie Wright(研究方針: Jack Clark)
- 発行元: Anthropic(The Anthropic Institute)
- 発行日: 2026年9月
- URL: https://www.anthropic.com/institute/measuring-pace-of-ai-development
関連記事


要点
- Anthropicは、AI主導のAI研究開発・AIエージェントの監視体制・安全研究への計算資源配分という3つの指標を公開した。
- 2026年8月時点で、AnthropicのAI研究開発のうちClaudeが「主導」する作業は26%、「協働」以上の水準にある作業は90%を超えている。
- Anthropicの社内では、常時約3万のAIエージェントが研究・エンジニアリング業務に従事しており、その行動はオンライン監視・オフライン監視の2種類で管理されている。
- 2026年7月13日から20日の1週間では、AI研究開発向け計算資源のうち約6%、AI主導のAI研究開発向け計算資源のうち約12%が安全研究に割り当てられていた。
- Anthropicは、複数の組織から独立した第三者評価者を自社に常駐させ、安全対策の検証や指標の監視を担わせる計画を示している。
詳細解説
この測定を追跡する理由
Anthropicによれば、本稿で扱う測定は「モデルがどのように作られているか」に焦点を当てています。計算資源のような入力と、性能のような出力の関係を捉えやすくする狙いがあり、モデルが「何をできるか」を測る能力評価とは補完関係にあるとされています。能力評価はResponsible Scaling Policy(RSP)に基づくリスクレポートで別途公表しており、AI研究開発の加速度合いを示す証拠も含まれています。また、Anthropicが提案する政策枠組み「Advanced AI Framework(AAIF)」では、リスクレポートのような透明性の確保を各国政府が開発企業に求める仕組みも提案されているとのことです。
(1) AI主導のAI研究開発を測る:自動化指数
Anthropicによれば、フロンティアAI企業は将来のAIモデルを構築する際にAI自身を活用する場面を増やしており、これにより高性能なモデルをより迅速に開発し、公開前により多くの安全性検証をこなせるようになります。一方で、モデルが自らの開発を加速させることで、人間がシステムを理解・制御しづらくなる可能性もあるとAnthropicは指摘しています。世界が「再帰的自己改善」(AIが完全に自律して後継モデルを構築すること)にどれだけ近づいているかを把握する上で、こうした指標の共有が重要だとしています。
Anthropicは、社内のAI研究開発のうちどれだけをClaudeが担っているかを示す試作指標「Anthropic R&D Automation Index」を構築しました。社内で行われるあらゆる種類のAI研究開発業務を洗い出し、それぞれの自動化度合いを評価し、集計する方法で作られています。
評価には、Epoch AIが開発した「自動化レベル(AL)」という尺度を用いています。AL0(AIの関与なし)からAL5(人間の介在なしにAIが完全に自律して動作する)までの段階があり、AL3は「協働」(人間の綿密な指示のもとでAIが作業の大部分をこなす)、AL4は「主導」(人間が監督する中、AIが高レベルの指示から作業をほぼ最初から最後までこなす)に当たります。
2026年8月時点で、Anthropicによれば次のことが分かっています。
- 測定対象のいずれのAI研究開発業務においても、Claudeが完全に自律して動作している状態にはない
- Claudeが「主導」する作業は、AnthropicのAI研究開発業務全体の26%に達している
- 「協働」以上の水準にある作業の割合は90%を超えている
Anthropicは、公開された方法論を用いれば、どのフロンティア開発企業でもこうした指標を定期的に公表できるはずだとしています。ただし、企業間で比較可能にするには、共通の方法論が存在しないことと、自社モデルで自社システムを評価する際に「判定役」のモデルが被評価モデルと同じ誤りを犯しうることという2つの課題が残っているとのことです。この課題への対応として、第三者や他社のモデルによる検証や、新しいモデルをさらなるAI研究開発に使う前に一定の検証期間を設けるといった仕組みが考えられるとしています。
能力そのものを測るベンチマークとは異なり、実務がどれだけAIに置き換わっているかを組織内部の視点で示す指標は、既存の評価軸を補う情報として意味があると考えられます。
(2) AIエージェントの監視体制を測る
Anthropicによれば、社員が長時間にわたって半自律的に動作するAIエージェントへタスクを委任し、エージェント同士がさらに作業を委任し合う場面が増えています。作業の自動化が「協働」から「主導」へと進むにつれ、エージェントが次にどの研究方向を追うかといった、より重要な意思決定を担うようになる可能性があるとしています。AIエージェント同士の協調や結託を検証したAnthropicの実験結果とも通じるテーマです。
Anthropicは、個々のエージェントが問題行動を起こすことはまれだとしつつも、経済全体で数百万から数十億のエージェントが稼働する規模になれば、まれな事象でも定常的に発生しうると述べています。そこで、エージェントの行動を監視・介入する仕組みを構築し、「カバレッジ(監視を通過する行動の割合)」「レビューの遅延時間」「エスカレーション率(遮断またはさらなる確認に回される行動の割合)」という3つの指標で評価しています。
2026年8月時点で、Anthropicの社内で最も利用されているプラットフォーム上では、常時約3万のAIエージェントが研究・エンジニアリング業務に従事していたといいます。これらのエージェントの行動は、次の2種類の監視によって制約されています。
- オンライン監視: エージェントの行動をリアルタイムで検査し、危険な行動を自動的に遮断・誘導する。モデルの重みを社外へコピーするといった、即座に起こり取り返しのつかない被害を防ぐことを目的とする。行動の100%が実行前に監視を通過し、通常は数秒以内に処理される。2026年8月の研究・エンジニアリングエージェントによる10億件超の意思決定を分析したところ、遮断されたのは0.002%(約4万7,000件に1件)だった
- オフライン監視: エージェントの行動を事後的に確認する。モデルの整合性のずれの兆候など、ゆっくり進行し、かつ引き返せる危険な挙動への対応を目的とする。行動の100%が事後的に取り込まれ、週あたり約10万件の記録にフラグが立てられて複数の分類器と初期確認を経て、優先度の高いもの(週あたり約50件)が人間によるレビューに回される。さらなる確認が必要としてフラグが立つのは、1,000件あたり1〜2件程度である
Anthropicは、これらの指標を先ごろ公表したリスクレポートにも掲載しており、自社の研究・エンジニアリング業務でエージェントを運用する開発企業であれば、同様の指標を公表できるはずだとしています。過去にはMETRがAnthropicのオフライン監視基盤を独立して検証しており、現在は複数の組織から独立した第三者評価者を社内に常駐させる取り組みも進めているとのことです。
(3) 安全研究への計算資源配分を測る
Anthropicによれば、AI開発企業はより高性能なモデルの構築や顧客対応に加え、モデルの「思考」の監査、整合性のずれを調べるためのモデル実験、モデルを安全に展開できるかどうかの評価といった、安全性に関わる作業にも計算資源を使っています。計算資源の配分を把握することで、開発企業がどこに力点を置き、それがどう変化しているかを知る手がかりになります。加えて、計算資源はAI研究開発への投入要素の中でも特に検証しやすいため、将来的に開発速度を調整する上での重要な手段になりうるとも述べています。
2026年7月13日から20日までの1週間の計算資源の使われ方を調べたところ、AI研究開発向け計算資源のうち約6%、AI主導のAI研究開発向け計算資源のうち約12%が安全研究に割り当てられていました。能力向上にも安全性向上にも同程度に寄与するトークンは安全研究側に計上しないなど、意図的に控えめな見積もりだとAnthropicは説明しています。
安全研究は個々の研究者が実験を設計する作業が中心で、実験自体の計算負荷は大きくないため、計算資源は安全性への注力度を測る完全な代理指標にはならないとAnthropicは述べています。それでも、開発企業間や時系列での比較を可能にする分かりやすい仕組みとして価値があるとしています。
安全研究と能力研究の線引きは難しく、各社が都合よく線を引く誘因があるため、どの作業が安全研究に当たるかを示す立証責任は開発企業側にあるべきだとAnthropicは主張しています。
今後の展望:第三者評価の導入
Anthropicは、フロンティア開発企業の内部で何が起きているかと、社会が把握できる情報とのギャップを最小限に抑えることが重要だとしています。そのために、AI開発の測定方法を改善し、公に報告し、その情報をどう使うかを社会が判断できるようにする姿勢を示すとして、今後もこうした測定結果の公表を続けるとしています。具体的には、複数の組織から独立した第三者評価者を社内に受け入れ、リスク評価チームに準じたアクセス権を与えることで、安全対策の検証やインシデントの報告、主要指標の監視を担わせる計画だといいます。
まとめ
Anthropicは、AI主導のAI研究開発・AIエージェントの監視体制・安全研究への計算資源配分という3つの観点から、自社のAI開発の実態を測定した結果を公表しました。数値を継続的に追跡し、第三者評価を導入する姿勢は、フロンティアAI開発の透明性を高める試みだと言えます。AIの自己改善を巡るペース論争もあわせてご覧ください。
