［開発者向け］27B級AIが3.9GBに——Prism MLの1bit/ternary量子化モデル「Bonsai 27B」をllama.cppでローカル実行する

2026-07-17

はじめに

　Prism MLは2026年7月、27B(270億)パラメータのAIモデルを1bitとternary(3値)まで量子化した「Bonsai 27B」をHugging Faceで公開しました。本稿では、その仕組みと性能に加え、llama.cppでローカル実行する手順を解説します。

参考記事

メイン記事:

タイトル: 1-bit Bonsai 27B — GGUF
発行元: Prism ML(Hugging Face)
発行日: 2026年7月
URL: https://huggingface.co/prism-ml/Bonsai-27B-gguf

要点

Bonsai 27Bは、Qwen3.6-27Bをベースに1bit(1.125bpw)版とternary(1.71bpw)版の2種類を用意した量子化モデル群である
1bit版は約3.9GB、ternary版は約7.2GBまで軽量化されており、FP16(約54GB)と比べてそれぞれ約14.2倍・約9.4倍小さい
15種のベンチマーク平均で、1bit版はFP16の89.5%、ternary版は94.6%の性能を維持している
262Kトークンのコンテキストに対応し、llama.cpp(CUDA・Metal・CPU)やMLX(Apple Silicon)上で動作する
「DSpark」という投機的デコード(下書きを高速に生成し検証する仕組み)を搭載し、CUDA環境で最大1.37倍の生成速度向上を実現している

詳細解説

低ビット量子化でも性能が崩れにくい設計

　量子化(モデルの重みを少ないビット数で近似的に表現し、サイズと計算量を削減する技術)は、ビット数を下げるほどモデルの精度が落ちやすいという課題があります。Prism MLによれば、Bonsai 27Bは埋め込み層・注意機構・MLP層・出力層まで含めたすべての重みを、1bit版では1.125bpw(bits per weight、重み1つあたりの平均ビット数)、ternary版では1.71bpwという、従来の低ビット量子化が精度を大きく落としてしまう領域まで踏み込んで圧縮しています。

　Qwen3.6シリーズはJOBIRUNでも以前取り上げましたが、Bonsai 27Bはそのオープンウェイトモデル「Qwen3.6-27B」をベースに、アーキテクチャを変更せず量子化のみで軽量化した派生モデルにあたります。一般的な「4bit」「2bit」表記の量子化モデルは、実際の平均ビット数が表記より大きいことが多いとされていますが、Bonsai 27Bは表記どおりのビット数で構成されている点が特徴だと言えます。

ベンチマークで見る精度の維持度

　Prism MLの発表によれば、数学・コーディングなど6分野15種のベンチマークを用いた評価で、FP16版の平均スコア85.07に対し、1bit版は76.11(89.5%)、ternary版は80.49(94.6%)を記録しました。特に数学は1bit版で91.66、ternary版で93.40と、FP16との差が小さく抑えられています。

　一般的に、低ビット量子化では複数ステップの推論を要するタスクから精度が崩れやすいとされていますが、この結果を見ると、Bonsai 27Bは長い思考の連鎖を要するベンチマークでも大きく崩れていないと考えられます。同程度の軽量化を行った他モデルの量子化版と比べても、この点は優れた特徴の一つと言えるかもしれません。

llama.cppでのセットアップと実行方法

　ここでは、GPU(CUDA)環境を例に、1bit版のBonsai 27Bをllama.cppで動かす手順を紹介します。

　前提条件 として、C++のビルドツール(cmake、gccなど)と、NVIDIA製GPUを使う場合はCUDA Toolkitがあらかじめインストールされている必要があります。事前に以下のコマンドでcmakeのバージョンを確認しておくと安心です。

# cmakeがインストールされているか確認するコマンドです
cmake --version

専用カーネルを含むllama.cppのフォークを取得します。

# 1bit・ternary量子化に対応した専用カーネルを含む、
# Prism ML製のllama.cppフォークをダウンロードするコマンドです
git clone https://github.com/PrismML-Eng/llama.cpp
cd llama.cpp

CUDA対応でビルドします。

# -DGGML_CUDA=ON でCUDA(GPU)向けのビルド設定を有効にしています
# -j はビルドを並列実行し、時間を短縮するオプションです
cmake -B build -DGGML_CUDA=ON && cmake --build build -j

　注意: GPUを使わずCPUのみで動かす場合は、-DGGML_CUDA=ONを付けずにcmake -B build && cmake --build build -jのみでビルドします。Macの場合はMetal(Appleの高速描画・演算API)が標準で有効になります。

モデル本体(GGUF形式のファイル)をダウンロードします。

# Hugging Face上のGGUFファイルをカレントディレクトリに
# ダウンロードするコマンドです
hf download prism-ml/Bonsai-27B-gguf Bonsai-27B-Q1_0.gguf --local-dir .

推論を実行します。

# ダウンロードしたモデルを指定して推論を実行するコマンドです
# -n は生成するトークン数、-ngl はGPUに読み込むレイヤー数
# (99を指定すると全レイヤーをGPUに載せます)を指定しています
./build/bin/llama-cli \
    -m Bonsai-27B-Q1_0.gguf \
    -p "Explain quantum computing in simple terms." \
    -n 256 \
    --temp 0.7 --top-p 0.95 --top-k 20 \
    -ngl 99

　うまく動かない場合は、GPUメモリの空き容量やCUDAのバージョンがllama.cppの要求と合っているかをまず確認するとよいと思います。また、対話的なWeb UIで試したい場合はllama-serverコマンドを使うと、ブラウザ上のチャット画面から動作確認できます。

1bit版とternary版、どちらを選ぶか

　Prism MLは、用途に応じて2つの版を使い分けることを想定しています。1bit版(約3.9GB)はiPhone 17 Pro Maxでも動作するほど軽量で、ラップトップや単一GPUでの利用に向いています。一方でternary版(約7.2GB)は、サイズは大きくなるものの精度の維持率が高く、品質を優先したい場合に適した選択肢だと考えられます。

　どちらもApache 2.0ライセンスで公開されており、商用利用を含め比較的自由に扱えるライセンス形態である点も、導入を検討する上でのポイントになりそうです。

まとめ

　Bonsai 27Bは、27B級モデルを1bit・ternaryまで量子化しながら、性能低下を比較的小さく抑えた点が特徴です。ノートPCやスマートフォンで大規模モデルを動かす選択肢として、今後の実用例にも注目したいところです。ローカル実行に関心のある方は、Gemma 4 12B Coderの実行ガイドもあわせてご覧ください。