［開発者向け］Jetson AGX ThorでQwen3.6-27Bが6.4倍高速に——TensorRT Edge-LLMの実装手順

2026-09-19

はじめに

　NVIDIAは2026年9月16日、推論ソフト「TensorRT Edge-LLM」がMLPerf Inference v6.1「Edge Agentic」ベンチマークで、Jetson AGX Thor上のQwen3.6-27Bをllama.cpp比6.4倍で完走させたと発表しました。本稿では実装内容と高速化の仕組みを解説します。

参考記事

タイトル: TensorRT Edge-LLM Completes the MLPerf Edge Agentic Benchmark 6.4x Faster on Jetson AGX Thor
著者: Luxiao Zheng、Palanivel Guruva reddiar、Maximilien Breughe、Zhihan Jiang、Zhijia Liu、Lin Chai（NVIDIA）
発行元: NVIDIA Developer Blog
発行日: 2026年9月16日
URL: https://developer.nvidia.com/blog/tensorrt-edge-llm-completes-the-mlperf-edge-agentic-benchmark-6-4x-faster-on-jetson-agx-thor/

要点

NVIDIAはTensorRT Edge-LLMを用い、MLPerf Inference v6.1のEdge Agenticベンチマークで52.33トークン/秒を記録した。
Jetson AGX Thor上でQwen3.6-27Bを動かし、全1,007ターンの処理をllama.cpp比6.4倍の24分36秒で完了した。
NVFP4量子化とFP8のKVキャッシュ、ツリー型複数トークン予測、KVキャッシュ再利用を組み合わせて高速化した。
KVキャッシュとリカレント状態の再利用により、プロンプトトークンの約96%がキャッシュから供給された。
8ステップ・上位2候補・16ノードのツリー型MTPは、線形MTPと比べ約40%の追加高速化を達成した。

詳細解説

MLPerf Edge Agenticベンチマークとは何を測るのか

　MLPerf Edge Agenticは、OpenAI互換のモデルエンドポイントを「性能」と「精度」の2フェーズで評価するベンチマークです。性能フェーズでは、ソフトウェア開発エージェントの会話ログを再生し、モデルがユーザー要求を受けてツール呼び出し(関数の呼び出し)を生成し、ツールの実行結果を受け取って会話を続ける流れを繰り返します。ワークロードは20会話・1,007ターンで構成され、入力長はターンを追うごとに増加し、最大で約23,500トークンに達します。精度フェーズでは、Berkeley Function Calling Leaderboard(BFCL、関数呼び出しの精度を測るベンチマーク)v4のプロンプトをシングルターン・推論オフの設定で用い、モデルが適切な関数を選び、有効な引数を生成し、不要な場面でツールを呼び出さないかを評価します。

　エージェントはチャットボットのように1回の応答で完結せず、ツールの選定と結果の評価を繰り返しながら長い文脈を保持し続ける必要があります。Jetsonがエッジ向け生成AIの標準になりつつある流れは本ブログでも取り上げてきましたが、こうした長文脈・多ターンの特性を踏まえたベンチマークが用意されたことは、エッジ向けエージェント評価の実用性を高めるものだと考えられます。

Jetson AGX Thorでの結果——6.4倍高速化の内訳

　今回の提出は、128GBの統合メモリを備えたJetson AGX Thor Developer Kit 1台で、Qwen3.6-27BをSingleStreamモード・MAXN電力モードで動作させた結果です。NVIDIAによれば、結果は出力スループット52.33トークン/秒、初回トークン出力までの時間(TTFT)の中央値247.12ミリ秒、出力トークン1つあたりの処理時間の中央値14.68ミリ秒、BFCL総合精度87.94%でした。

指標	結果
出力スループット	52.33 トークン/秒
初回トークン出力までの時間(中央値)	247.12 ミリ秒
出力トークン1つあたりの処理時間(中央値)	14.68 ミリ秒
BFCL総合精度	87.94%

　比較対象となったllama.cppのリファレンス実装(Q4_K_M量子化のQwen3.6-27B)は、同じJetson AGX Thor上で全ワークロードの完走に2時間37分を要しています。TensorRT Edge-LLMはこれを24分36秒、6.4倍の速さで完了させました。NVIDIAは、この差をNVFP4量子化・KVキャッシュ再利用・ツリー型MTPの組み合わせによるものと説明しています。

NVFP4量子化でQwen3.6-27Bを高速化する仕組み

　エッジ環境での低バッチLLMデコードは、一般にDRAMの帯域幅がボトルネックになりやすいとされています。重みと活性化のサイズを小さくすることで、カーネルのメモリ使用量を抑え、デコード性能を高められます。

　今回のQwen3.6-27Bモデルは、言語モデルのヘッド部分を含む重みと活性化にNVFP4(NVIDIA Blackwell世代GPUが対応する4bit浮動小数点形式)を、KVキャッシュにはFP8を採用しています。TensorRT Edge-LLMは、MLPerfが求める精度を保ちながら量子化モデルを高速化する専用カーネルを備えています。モデルの表現サイズが小さくなることで、128GBの統合メモリのうち、より多くを長い文脈や投機的デコードの状態、アプリケーション処理に割り当てられるようになります。近縁モデルのQwen3.8-27Bについては本ブログでも実装方法を紹介していますが、開発チームは公開されているキャリブレーション済みのNVFP4チェックポイントを利用するか、任意の開発環境で一度だけ学習後量子化を行ってからデプロイできます。

エージェントの会話履歴をKVキャッシュで使い回す

　エージェントの会話では、新しいリクエストのたびに、それまでの会話履歴の大半に新しいモデル応答やツール結果が加わります。再利用の仕組みがなければ、モデルはターンのたびに共有履歴全体を再計算(プリフィル)しなければならず、会話が長くなるほどコストが増大します。

　TensorRT Edge-LLMは再利用可能なプロンプトの接頭辞を特定し、キャッシュされたアテンションのKVページ(注意機構が参照する計算結果)を復元します。Qwen3.6はハイブリッドなモデルアーキテクチャを採用しているため、ランタイムはリカレント状態と部分的なKVページ状態も合わせて復元し、会話の新しい部分だけをプリフィルします。この最適化はツリー型MTPと補完関係にあり、キャッシュ再利用が生成開始前のコストを、MTPが生成中のターゲットモデルのステップ数を、それぞれ削減する仕組みです。

　今回のワークロードでは、プロンプトトークンの約96%がホットキャッシュから供給され、全13.6Mトークンのうちランタイムが実際にプリフィルしたのは約0.5Mトークンにとどまりました。本稿としては、この再利用率の高さが、長時間稼働するエージェントセッションにおける実運用コストの抑制に直結すると考えられます。

ツリー型MTP(複数トークン予測)で生成を高速化

　通常の自己回帰デコードでは、モデルを1回呼び出すごとに1トークンしか生成できません。複数トークン予測(MTP)は、ドラフトモデルが複数の将来トークンを予測し、ターゲットモデルがまとめて検証する手法です。近年のモデルの多くは、本体モデルと合わせて公式のMTP用重みを提供しています。

　TensorRT Edge-LLMは、従来の線形MTPに加えてツリー型MTPを実装しています。予測される続きを1本だけ保持するのではなく、確率の高い候補をツリー状に組織化し、ターゲットモデルが1回の順伝播でまとめて検証し、一致した経路を採用する仕組みです。複数の候補が一致した場合は、一度に複数トークン分生成を進められます。サーバー起動時にはドラフトのパラメータを調整でき、今回のMLPerf向けサーバー設定では8ドラフトステップ・各深さで上位2候補・16ノードの検証ツリーが使われています。ツール名やJSON構文、よくある引数構造は予測しやすい一方、個々の引数値には複数の分岐で確からしい候補を保持できるため、ツリー型検証は関数呼び出しに向いていると説明されています。3ドラフトステップの線形MTPと比較すると、ツリー型MTPはこのワークロードで約40%の追加デコード性能向上を達成したとされています。

前提条件・環境構成

　今回の実装は、TensorRT Edge-LLMのrelease/0.9.1-mlpinfブランチで公開されており、モデルのエクスポート設定、TensorRTエンジンのビルドコマンド、サーバー設定、MLPerfクライアント設定が含まれています。再現には、Jetson AGX Thorまたは同等のBlackwell世代GPU環境に加え、Python仮想環境とHugging Face CLIが利用できる環境が前提になります。以下のコマンド中の$WORK・$VENV・$REPOは、各自の作業ディレクトリに置き換えて実行してください。

実装手順——ベンチマークを実際に動かす

　以下は参考記事に掲載されたコマンドをそのまま再現しています。

1. TensorRT Edge-LLMをクローンし、サブモジュールを初期化します。

git clone --branch release/0.9.1-mlpinf \
  https://github.com/NVIDIA/TensorRT-Edge-LLM.git
cd TensorRT-Edge-LLM
git submodule update --init --recursive

2. キャリブレーション済みのNVFP4チェックポイントをダウンロードします。

huggingface-cli download \
  centml/Qwen3.6-27B-NVFP4-W4A4-mlpinf \
  --local-dir "$WORK/Qwen3.6-27B-NVFP4-W4A4-mlpinf"

3. mlperf/README.mdの手順に沿ってTensorRT Edge-LLMをビルドし、ツリー型MTP用のインターフェースでチェックポイントをエクスポートして、ベースモデルとドラフトモデルのTensorRTエンジンを構築します。

$VENV/bin/python -m tensorrt_edgellm.scripts.export \
  "$WORK/Qwen3.6-27B-NVFP4-W4A4-mlpinf" \
  "$WORK/onnx" \
  --mtp-tree-base --skip-visual

4. OpenAI互換のTensorRT Edge-LLMサーバーを起動します。

export REPO="$PWD"
export VENV=/path/to/venv-edgellm-export
export WORK=/path/to/mlperf-artifacts
bash mlperf/serve_edgellm.sh

5. MLCommonsのエンドポイントハーネスをクローンし、BFCL関連の依存関係をインストールした上で、mlperf/config.yamlのモデル・トークナイザーパスを更新してベンチマークを実行します。

git clone https://github.com/mlcommons/endpoints.git
cd endpoints
python3.12 -m venv .venv
source .venv/bin/activate
pip install -e ".[dev,bfcl]"
inference-endpoint benchmark from-config \
  --config "$REPO/mlperf/config.yaml"

　注意: 参考記事によれば、上記の構成では温度(temperature)0・シード42・推論オフ・並列数1で性能フェーズと精度フェーズの両方が実行されます。精度フェーズのみを実行したい場合は--accuracy-onlyオプションを使用します。データセットやクライアント設定の詳細は、MLCommons Edge Agenticのサンプル(GitHub上のmlcommons/endpointsリポジトリ)を参照してください。

　なお、本稿の筆者はこの手順を実際に動作確認したわけではなく、参考記事に掲載されたコマンドをもとにしています。実行環境やライブラリのバージョンによっては、追加の調整が必要になる場合があると考えられます。

まとめ

　TensorRT Edge-LLMは、NVFP4量子化とKVキャッシュ再利用、ツリー型MTPを組み合わせ、Jetson AGX Thor上のエージェント推論をllama.cpp比6.4倍まで高速化しました。エッジでも長い文脈を伴うタスクを実用的な速度で処理できることを示す結果だと言えます。今後、他のモデルや機種への展開にも注目したいと思います。