はじめに
Anthropicが2026年7月8日、AE Studioと共同で実施した研究として、AIモデル内の「デュアルユース(両用)」な知識を用途に応じて着脱できる新手法「GRAM」を公開しました。本稿では、その仕組みと実験結果、実用化に向けた課題について解説します。
参考記事
- タイトル: An off switch for dual-use knowledge in AI models
- 発行元: Anthropic
- 発行日: 2026年7月8日
- URL: https://www.anthropic.com/research/off-switch-dual-use
関連記事
要点
- Anthropicは AE Studio との共同研究で、AIモデル内のデュアルユース知識を用途別に着脱可能にする新手法「GRAM(Gradient-Routed Auxiliary Modules)」を発表した
- GRAMはTransformerの各層に専用モジュールを追加し、ウイルス学やサイバーセキュリティなど特定分野のデータを学習する際、そのモジュールのみを更新する仕組みである
- 児童向け物語のデータセットや5000万〜50億パラメータの複数モデルでの実験により、モジュールの削除で該当知識をほぼ完全に除去でき、他タスクの性能低下も見られなかった
- 悪意ある少量データによる再学習への耐性は、既存の「アンラーニング」技術より高く、データフィルタリングと同程度の頑健性を示した
- 研究チームは、GRAMが現時点で実運用モデルには適用されておらず、フロンティア規模での検証や下流タスクでの評価が今後の課題であるとしている
詳細解説
デュアルユース知識という課題
フロンティアAIモデルは、大量の知識を蓄積した存在でもあります。その知識の一部は「デュアルユース(両用)」、つまり善用にも悪用にもなり得るものです。たとえば、サイバーセキュリティの知識は脆弱性の修正に役立つ一方、その脆弱性を突く攻撃にも使えます。Anthropicによれば、現在の安全対策は主に拒否訓練と入出力を監視する分類器によって行われていますが、これらはモデルの出力を制御するものであり、モデル内部に蓄積された知識そのものを変えるものではないため、執拗な攻撃者によるジェイルブレイク(安全対策を回避する試み)を完全には防げないとのことです。
より根本的な対策として、モデルが何を知っているか自体を制御するという発想があります。Anthropicはこれまでにも、学習データの段階で生物・化学・放射性物質・核兵器に関する情報を除外する取り組みを行ってきましたが、この方式では用途ごとに別々のモデルを訓練する必要があり、大規模モデルではコストが大きな課題になっていました。
GRAMの仕組み——モジュール単位での知識の隔離
Transformer(トランスフォーマー)は、多くの大規模言語モデルの基盤となっているニューラルネットワークの構造です。GRAM は各層にこの構造用の追加ニューロン群を組み込み、分野ごとにモジュールとして分離します。
具体的には、モデルが一般的なテキストを学習する際は通常通り全体の重みが更新されますが、ウイルス学やサイバーセキュリティなど、あらかじめ定義したデュアルユース分野のテキストを学習する際は、対応するモジュールのみが更新され、それ以外の重みは一時的に固定されます。この結果、特定分野の知識はそのモジュールに集約され、あとからモジュールごと削除したり、信頼できる利用者向けに残したりすることが可能になります。研究チームは今回、4つのデュアルユース分野を定義し、1回の学習で16通りの組み合わせ(各分野のオン・オフ)に対応できるモデルを作成したとしています。
この仕組みは、従来の「学習データそのものを除外するフィルタリング」と「学習後に知識を抑制するアンラーニング」の中間に位置づけられると考えられます。フィルタリングは確実性が高い一方、用途ごとに別々のモデルを訓練する必要があり、大規模モデルではコストが大きな課題でした。GRAMはこの課題に対し、1つのモデルを訓練するだけで複数の構成を使い分けられる点を目指した手法だと言えます。
実験で示された性能と頑健性
Anthropicによれば、GRAMは3段階のテストを経て検証されました。まず、トピック別に分類した子供向け物語の合成データセットで、任意のトピックを「忘却」させたところ、そのトピックを最初から除外して個別に訓練したモデルとほぼ同等の性能を示したとのことです。
次に、ウェブテキスト・コード・科学論文を組み合わせた、より実際に近いデータセットを用い、ウイルス学・サイバーセキュリティ・核物理学・特定のニッチなプログラミング言語という4分野で実験したところ、該当モジュールを削除すると、その分野のデータを一度も学習しなかった場合とほぼ同じ水準まで能力が失われた一方、他タスクの性能低下は見られなかったと報告されています。
また、少量の悪意あるデータで再学習し、削除したはずの知識を復元できるかを試したところ、GRAMはデータフィルタリングと同程度の耐性を示しました。一方、学習後に知識を抑制する「アンラーニング」技術は、少量のファインチューニングで比較的簡単に復元されてしまったとのことです。アンラーニング手法の検証方法については、Google Researchが提案した監査フレームワークの解説記事でも取り上げていますので、関心のある方はあわせてご覧いただければと思います。
パラメータ数5000万から50億までの7段階でモデルサイズを変えて実験したところ、GRAMはいずれのサイズでもフィルタリングと同水準の性能を保ち、モデルが大きくなるほど「モジュールを有効にした場合」と「無効にした場合」の性能差が広がったとされています。この傾向から、モデルの規模が大きくなるほど、保護を回避しようとする攻撃側の計算コストも相対的に増していくと考えられます。
今後の課題と限界
Anthropicは今回の研究について、いくつかの限界があることも明らかにしています。GRAMはまだフロンティア規模のモデルや実際の学習パイプラインでは検証されておらず、Claudeシリーズにも適用されていないとのことです。また、評価指標は次の単語を予測する能力を基準としており、実際の下流タスクでの性能とは異なる可能性があります。
さらに、一部のデュアルユース知識は一般的な知識と深く絡み合っており、フィルタリングやGRAMのような手法でも完全に切り分けられない場合があるという、より本質的な課題も残ります。この点は、AI企業がデュアルユース知識へのアクセスを制御しようとする際に共通する難しさであり、今後の研究の方向性を左右する要素の1つだと思います。
まとめ
GRAMは、AIモデルにデュアルユース知識専用の着脱可能なモジュールを設け、用途に応じて安全に開閉するという発想の研究です。まだ実運用には至っていませんが、フィルタリングとアンラーニングの中間を狙う試みとして注目されます。AIエージェントと生物データの関係については、過去記事でも整理していますので、あわせてご覧いただければと思います。
