［開発者向け］NVIDIA Cosmos 3：推論・世界生成・行動生成を単一モデルで統合したPhysical AI基盤

2026-06-01

はじめに

　NVIDIAが2026年5月31日、フィジカルAI（Physical AI）向けの基盤モデル「NVIDIA Cosmos 3」を発表し、モデル重み・学習スクリプト・展開ツール・データセットをオープンソースで公開しました。本稿では、Cosmos 3の構造と機能、ベンチマーク結果、実際のセットアップ方法について解説します。

参考記事

タイトル: Develop Physical AI Reasoning, World, and Action Models with NVIDIA Cosmos 3
著者: Asawaree Bhide, Alexander Schwarz
発行元: NVIDIA Developer Blog
発行日: 2026年5月31日
URL: https://developer.nvidia.com/blog/develop-physical-ai-reasoning-world-and-action-models-with-nvidia-cosmos-3/

要点

NVIDIA Cosmos 3は、物理的推論・世界生成・行動生成を単一モデルで処理するMixture-of-Transformers（MoT）アーキテクチャを採用したフィジカルAI基盤モデルである
8Bパラメータの「Cosmos 3 Nano」と32Bパラメータの「Cosmos 3 Super」の2サイズが公開されており、前者はワークステーション級GPUで動作する
ロボティクス・自動運転・倉庫監視など6種類のオープンデータセットが同時公開され、ドメイン適応のためのSFT（Supervised Fine-Tuning）スクリプトも提供されている
PAIBench、R-Bench、Physics-IQ、RoboLabといった複数のベンチマークでオープンソースSOTA（最高水準）を達成している
NVIDIA NIM microservicesとしても提供されており、本番環境への展開が容易になっている

詳細解説

Cosmos 3とは何か：Physical AIの概要

　フィジカルAI（Physical AI）とは、ロボット・自律走行車・スマートスペースなど、実世界で直接行動するAIシステムの総称です。これらのシステムには、現在の状況を「理解」し、次に何が起きるかを「予測」し、特定の環境でどう「行動」するかを生成する能力が必要です。

　従来のCosmos（コスモス）リリースでは、世界生成・物理理解・制御シーン生成がそれぞれ別モデルに分かれており、複数モデルを連携させる煩雑なパイプラインが必要でした。Cosmos 3ではこれらをひとつのモデルに統合しています。NVIDIAがロボット大手と連携してフィジカルAIを製造・医療現場へ展開する動きと並行する形で、今回の発表はその開発基盤の整備にあたります。

アーキテクチャ：Mixture-of-Transformers（MoT）の2タワー構造

　Cosmos 3の中核は、Mixture-of-Transformers（MoT）と呼ばれるアーキテクチャです。MoTはトークンの種類に応じて異なるサブモジュールを活性化させる構造で、画像・映像・テキスト・行動データといった多様な入出力を効率的に処理できる点が特徴です。

　このアーキテクチャは以下の2つのタワーで構成されています。

Reasoner（推論）タワー: 画像・映像・テキストなどのマルチモーダル入力を解釈するVLM（Vision-Language Model、視覚言語モデル）です。自己回帰的なアーキテクチャで動作し、物体の動き・相互作用・物理的な文脈を理解します。生成が始まる前に「世界を考える」脳の役割を担います。
Generator（生成）タワー: 推論タワーの理解に基づき、物理的に整合した映像と行動シーケンスを生成します。拡散ベース（diffusion-based）のプロセスを採用しており、推論タワーが単独で呼び出せる一方、生成タワーは常に両タワーを起動します。

　この統合構造により、複数モデルの協調やパイプライン構築が不要になり、開発がシンプルになります。

モデルサイズと対応モダリティ

　現在公開されているモデルは2種類です。

Cosmos 3 Nano（8Bパラメータ）: 効率的な推論を重視した小型モデルです。NVIDIA RTX PRO 6000などワークステーション級のGPUで動作し、リアルタイムロボティクス推論などの用途を想定しています。
Cosmos 3 Super（32Bパラメータ）: 最高品質・最高性能を目指した大型モデルです。NVIDIAのHopperおよびBlackwellアーキテクチャのデータセンターGPUを対象とし、大規模な合成データ生成や高度な物理推論ワークロードに適しています。

　対応する入出力の組み合わせは多岐にわたり、テキスト・画像・映像・行動データを柔軟に組み合わせられます。たとえば「テキスト＋画像 → 映像」の世界モデル予測や、「映像＋テキスト → 映像＋行動」のポリシーモデルなど、ロボット学習に直結するユースケースに対応しています。

オープンデータセット（6種）

　Cosmos 3のリリースと同時に、Hugging Face上でフィジカルAI向け合成データ生成（SDG）データセット6種がオープンソース公開されました。

Embodied robot scenes（具現化ロボットシーン）: ロボット操作の模倣学習用
Physical interaction scenes（物理インタラクション）: 物体との接触・把持シミュレーション用
Spatial reasoning（空間推論）: 3次元的な位置関係の理解用
Digital human scenes（デジタルヒューマン）: 人体動作の学習用
Autonomous driving scenarios（自動運転シナリオ）: 交通場面の理解用
Warehouse operations scenes（倉庫作業シーン）: 産業自動化用

　これらはCosmos 3のファインチューニングだけでなく、他のモデルのポストトレーニングにも利用できます。Physical AI Data Factory Blueprintで構築されたデータ生成パイプラインと組み合わせることで、さらに独自データセットを拡充できると思います。

ベンチマーク結果

　NVIDIAによれば、Cosmos 3は複数の公開ベンチマークでオープンソースSOTAを達成しています。

推論系ベンチマーク

VANTAGE-Bench: 倉庫・交通・スマートスペースにおける実世界固定カメラ映像でVLMを評価するベンチマークです。Cosmos 3 SuperはS32Bティア、Cosmos 3 NanoはS8BティアでそれぞれTOPを記録しています。
Traffic Anomaly Reasoning（TAR）: 交通映像中の異常イベントを検出・推論するリーダーボードで、AI City Challenge 2026 Track 3の公式ベンチマークでもあります。

生成系ベンチマーク

R-Bench: ロボット映像生成における世界モデルを評価するベンチマークで、構造的一貫性・物理的妥当性・実行完全性などを測定します。Cosmos 3はオープンソースSOTA。
PAIBench-G: ロボット・自動運転・物理常識など複数ドメインにわたる統合評価ベンチマークで、首位を維持しています。
Physics-IQ: 実世界映像を用いて生成モデルが物理法則を本当に理解しているかを検証するベンチマークです。視覚的リアリズムではなく物理的整合性を重視している点が特徴です。
RoboLab: タスク汎化ロボットポリシーを評価するシミュレーションベンチマークです。

　また、NVIDIAはCosmos Human Evaluation（HUE）という独自の評価フレームワークも公開しています。HUEはセマンティック整合性・物理法則・幾何学的推論・視覚的完全性の4次元にわたり、生成映像を二値（yes/no）の原子的質問で評価する仕組みで、上位モデル間の微細な差異を捉えるために設計されています。

学習レシピ（Training Recipes）

　Cosmos 3はモデル重みだけでなく、学習コード・設定ファイル・ワークフローも公開しています。

SFT（Supervised Fine-Tuning）ポストトレーニング

　SFT（教師あり微調整）レシピを使うことで、独自のデータセットにCosmos 3を適応させられます。映像生成のポストトレーニングと、ロボティクス・フィジカルAIワークフロー向けの行動指向レシピの両方が含まれています。

コードとコンフィグはGitHubで公開されています。

# GitHubのコスモスフレームワークリポジトリからポストトレーニングドキュメントを参照
# https://github.com/NVIDIA/cosmos-framework/blob/main/docs/training.md

行動ポストトレーニング（Action Post-training）

　ロボティクス応用のために、以下のワークフローに対応した行動ポストトレーニングが提供されています。

フォワードダイナミクス: ロボットが取った行動から未来の観測を生成する（世界モデルとして機能）
インバースダイナミクス: 観察されたデモンストレーションから行動を逆推定する（模倣学習に有用）
ポリシー生成: 現在の観測とタスクプロンプトから行動シーケンスを予測する

NVIDIA NIM microservicesを使った展開

　NIM microservices（エヌアイエム・マイクロサービス）は、モデルを本番環境で動かすための最適化済みコンテナです。推論ランタイムの手動チューニングが不要で、すぐに高性能な推論環境を構築できます。

　なお、NIM microservicesは推論（inference）ワークフロー向けで、ポストトレーニングにはGitHub上のCosmos 3リポジトリを使うことが推奨されています。

前提条件

NVIDIA GPU（Hopper以降推奨。NanoはRTX PRO 6000でも動作）
NVIDIA NGC（エヌジーシー）API Key（コンテナとモデルのダウンロードに必要）
Docker（ドッカー：コンテナ実行環境）
Dockerコマンドの基本操作

起動手順

まずNGC API Keyを環境変数に設定します。

# NGC API Keyを環境変数として設定します
export NGC_API_KEY="your-ngc-api-key"

次に、Cosmos 3 Nano ReasonerのNIMコンテナを起動します。

# --gpus=all : 使用可能なすべてのGPUをコンテナに渡します
# -e NGC_API_KEY : 先ほど設定したAPIキーをコンテナ内に渡します
# -e NIM_MODEL_SIZE=nano : Nanoモデルを指定します（superに変更するとSuperモデルが起動）
# -p 8000:8000 : ホストの8000番ポートをコンテナの8000番ポートにマッピングします
docker run --gpus=all \
  -e NGC_API_KEY=$NGC_API_KEY \
  -e NIM_MODEL_SIZE=nano \
  -p 8000:8000 \
  nvcr.io/nim/nvidia/cosmos3-reasoner:latest

注意: NIM_MODEL_SIZE=super に変更すればCosmos 3 Super Reasoner NIMが起動します。Cosmos 3 Generator NIMは現時点では準備中で、近日公開予定です。

推論の最適化オプション

NIMは以下の最適化オプションを備えています。

量子化（Quantization）: BF16・FP8・NVFP4の3種から選択可能です。NVFP4は数値精度をBF16から4ビット浮動小数点へ削減し、最大2倍の推論高速化を実現します。
vLLM（ブイエルエルエム）: 継続的バッチ処理・ページドアテンション・テンソル並列処理などを活用するオープンソース推論エンジンで、Cosmos 3 Reasoner NIMのサービングスタックに採用されています。
EVS（Efficient Video Sampling）: 映像トークンをチャンク単位で削減し、VLM推論を高速化する手法です。フレームの最もユニークなチャンクを残し、それ以外をプルーニング（枝刈り）します。小型GPUほど効果が大きいとされています。

モデルの入手とGitHubリポジトリ

Hugging Faceからモデルを取得する

　Cosmos 3のモデルチェックポイントはHugging Face上のコレクションで公開されています。

# huggingface-cli（ハギングフェイスCLI）をインストールします
# pip : Pythonのパッケージインストールツールです
pip install huggingface_hub

# Cosmos 3 Nanoモデルをダウンロードします
# --cache-dir でローカルの保存先を指定しています
huggingface-cli download nvidia/Cosmos3-Nano --cache-dir ./models/cosmos3-nano

注意: モデルサイズが大きいため（Nanoで数十GB規模）、十分なストレージと安定したネットワーク環境が必要です。ダウンロード前に df -h でディスク空き容量を確認してください。

GitHubリポジトリ

# Cosmos 3のGitHubリポジトリをクローンします
# git clone : リポジトリのコードをローカルにコピーするコマンドです
git clone https://github.com/nvidia/Cosmos
cd Cosmos

　コード・設定ファイル・チュートリアルはすべてこのリポジトリに収録されています。セットアップ手順やポストトレーニングの詳細は README.md を参照してください。

まとめ

　Cosmos 3は、フィジカルAIの推論・世界生成・行動生成を単一モデルに統合した点で、ロボティクスや自動運転の開発を大きく簡素化できる可能性があります。モデル重み・学習スクリプト・6種類のデータセットがすべてオープンで提供されており、カスタムドメインへの適応もしやすい構成です。NIM microservicesによる本番展開も整備されており、研究から実装まで一貫して使える基盤として注目したいところです。フィジカルAIの基礎を押さえたい方は、Physical AI Data Factoryの解説記事もあわせてご覧いただければと思います。