MoE– tag –

はじめに 　NVIDIAが2026年9月15日に公開したブログ記事では、AIモデルの主要アーキテクチャである「Dense（密）モデル」と「MoE（Mixture-of-Experts）モデル」の違いについて解説されています。本稿では、同社の発表をもとに、両者の仕組みやパフォーマ...

はじめに 　ZyphraがHugging Faceで公開した小型MoEモデル「ZAYA1-8B」は、活性パラメータ760M・総パラメータ8.4Bという小さなフットプリントながら、数学・コーディング・推論ベンチマークで119Bクラスのモデルと肩を並べる性能を示しています。本稿では...