はじめに
Google Developers Blogが2026年9月11日、Cloud TPU上でLLMのポストトレーニングをAIエージェントに自律実行させるプロジェクト「autofinetune」を紹介しました。一晩で数十回の学習実験が自動的に進む仕組みで、本稿ではその自律ループと実験事例を解説します。
参考記事
- タイトル: Autonomous LLM post-training with Tunix on TPUs
- 著者: Wei Wei
- 発行元: Google Developers Blog
- 発行日: 2026年9月11日
- URL: https://developers.googleblog.com/autonomous-llm-post-training-with-tunix-on-tpus/
関連記事
要点
- Googleは自律型AIエージェントがLLMのポストトレーニングを実行するプロジェクト「autofinetune」を公開した。
- Tunix、Gemma、Cloud TPU、Antigravity CLI、Gemini Flash 3.7を組み合わせて構成されている。
- FunctionGemma-270Mの教師ありファインチューニング（SFT）では、20回の自動実験で関数呼び出しの正解率を改善した。
- Gemma 3 1Bの強化学習（GRPO）による数学推論タスクでは、40回の実験を経て合計報酬が約10%向上した。
- 人間はprogram.mdで探索の境界条件を定義し、run.pyという単一の実行スクリプトを用意するだけでよい。
詳細解説
手動調整から自律ループへ
ブログによれば、従来のポストトレーニングは次の5段階の反復作業を必要としていました。
- 仮説を立てる（例: 「LoRAの対象モジュールにattn_vec_einsumを追加すると精度は上がるか」など）
- 学習スクリプトとハイパーパラメータを編集する
- アクセラレータ上でジョブを起動する
- 損失曲線とベンチマーク評価を監視する
- 失敗した変更を手動で元に戻す、または成功をスプレッドシートに記録する
autofinetuneは、この流れを次の3段階の自律ループに置き換えます。
- Design the Arena（program.md）: 人間が探索の境界条件・評価基準・制約を定義する
- Provide the Execution Code（run.py）: 単一の自己完結型ファインチューニングスクリプトを用意する
- Let the Agent Iterate: AIエージェントがprogram.mdの指示に従いrun.pyを修正し、学習を実行し、指標を測定した上で、改善したコミットは残しつつ悪化した変更は元に戻し、結果をresults.tsvに記録する
この設計は、事前学習向けの自律研究プロジェクト「autoresearch」の発想を、教師ありファインチューニングとGRPO（Group Relative Policy Optimization、報酬をもとに方策を段階的に更新する強化学習手法）による強化学習に応用したものと言えます。オーケストレーションにはGoogleのAntigravity CLIとGemini Flash 3.7が使われており、複数のAIエージェントが協調して未解決問題に取り組む同社の「Teamwork」プロジェクトでも同じCLIが採用されています。人間の役割は探索の「盤面」を設計することに限定され、実際の試行錯誤はエージェントに委ねられる点が特徴と言えます。
事例1: FunctionGemmaの教師ありファインチューニング（SFT）
最初の事例では、以前のブログ記事で紹介したSFTのセットアップを拡張し、google/functiongemma-270m-itをgoogle/mobile-actionsデータセット上で最適化する自律ループを構築しています。ハードウェアにはCloud TPU v5e-1を使用し、1回の学習は数分で完了、合計20回の自動実験を数時間で終えました。目的指標は関数呼び出し生成タスクの正解率です。
program.mdでは、以下のハイパーパラメータの変更は許可される一方、データセット・エポック数・モデルアーキテクチャの変更は禁止するという境界条件が設定されました。
- LoRA（Low-Rank Adaptation、モデル全体ではなく少数の追加パラメータのみを学習して効率的に微調整する手法）のランクとalpha
- 対象とする射影レイヤー
- 学習率、ウォームアップ・減衰スケジュール
- オプティマイザ（AdamW・Muonなど）、勾配クリッピング
- バッチサイズ、シード値
結果はsample_runs/SFT_results.tsvに記録され、エージェントがこれらのパラメータを段階的に調整しながら正解率を積み上げていく様子が確認できます。
事例2: Gemma 3 1Bの強化学習（GRPO）による数学推論
2つ目の事例では、Tunixリポジトリ公式のGRPOサンプル（Gemma 3 1BをGSM8Kデータセットで数学推論向けに学習し、数値精度と形式精度を高めるもの）を自律的な強化学習ループに組み込んでいます。元記事は、強化学習はハイパーパラメータへの感度が高く不安定になりやすい上に実行時間も長くなるため、SFTより難易度の高いタスクになると述べています。
ハードウェアはCloud TPU v6e-1、対象モデルはGemma 3 1B、データセットはGSM8K、1回の実行には数時間を要し、合計40回の実験を2〜3日かけて実施しました。目的指標には、外側の最適化ループを単純化するため、数値精度（numerical_accuracy）と形式精度（format_accuracy）を単純加算したPost_RL_metricという独自の合成指標が用いられています。sample_runs/RL_results.tsvに記録された結果では、エージェントがLoRAの設定、ロールアウト時の生成温度、KLペナルティ、システムプロンプトなどを調整し、合計報酬を約10%向上させました。
複数の評価軸を単純加算した合成指標を最適化対象とする設計は、エージェントに探索を任せやすくする一方で、重み付けの妥当性そのものが結果の解釈を左右する要素になり得ると考えられます。
まとめ
本稿では、GoogleがTunixとCloud TPUで公開した自律型ポストトレーニング「autofinetune」の仕組みと、SFT・GRPOの実験事例を紹介しました。AIエージェントが探索範囲の中で試行錯誤を重ね、生産性を高める方向性を示すものと言えます。自律型AIの研究応用は、AI自律研究の幻覚問題を扱った過去記事でも整理しています。
