ローカルAI– tag –

はじめに 　Convai Innovationsは、テキストとタイプ付き質問を入力すると約33ミリ秒で確率付きの回答を返す非自己回帰型の意思決定モデル「Laya」を、Apache 2.0ライセンスでHugging Faceに公開しました。本稿では、モデルカードの内容をもとに、Layaの仕...

はじめに 　Prism MLは2026年9月、Qwen3.8-27Bの重みを3値(-1・0・+1)まで圧縮した27B級推論モデル「Bonsai 2 27B」をHugging Faceで公開しました。ノートPC1台で動く軽さながら、FP16比98.2%の性能を維持しているとされています。本稿ではこの内容をもと...

はじめに 　Prism MLは2026年7月、27B(270億)パラメータのAIモデルを1bitとternary(3値)まで量子化した「Bonsai 27B」をHugging Faceで公開しました。本稿では、その仕組みと性能に加え、llama.cppでローカル実行する手順を解説します。 参考記事 メイン記...