［ニュース解説］AI開発者が考える「p(doom)」とは何か？ SFではない人類滅亡のリスク

2025-06-17

はじめに

　本稿では、米国のニュースメディアAxiosが発行した「Behind the Curtain: What if they’re right?」という記事をもとに、人工知能（AI）がもたらす潜在的なリスクについて、解説します。

引用元記事

タイトル： Behind the Curtain: What if they’re right?
著者： Jim VandeHei, Mike Allen
発行元： Axios
発行日： 2025年6月16日
URL： https://www.axios.com/2025/06/16/ai-doom-risk-anthropic-openai-google

要点

AI開発の専門家（楽観論者を含む）は、超知能AIが人類の制御を離れ、人類を滅ぼす確率、通称「p(doom)」を無視できない現実的なリスクとして認識している。
Anthropic社CEOやイーロン・マスク氏などの著名な人物は、この「p(doom)」を10%から25%という驚くほど高い数値で見積もっている。
現在主流である大規模言語モデル（LLM）は、なぜそのように振る舞うのか、動作原理が開発者自身にも完全には解明されていないという根本的な課題を抱えている。
人間のように自律的に思考し、行動できるAGI（汎用人工知能）の実現が目前に迫っており、これが暴走した場合の制御が極めて困難であると考えられている。
巨大テック企業間の熾烈な開発競争や、米国と中国の国家間の覇権争いが、安全性確保よりも開発速度を優先させる強い動機となり、リスクを増大させている。
万が一AIが暴走した場合に備えた、確実な「キルスイッチ（緊急停止装置）」や、それを強制できる有効な規制が存在しないのが現状である。

詳細解説

「もし彼らの警告が正しかったら？」という問い

　「AIの楽観論者も悲観論者も、どちらも大袈裟に言っているだけだと思われがちです。しかし、誰もこう問いません。『もし、彼らの警告が正しかったとしたら？』と」。

　これは、AI企業AnthropicのCEO、ダリオ・アモデイ氏の言葉です。AIが人間を超える知能を持ち、制御不能になって人類の存続を脅かす――。多くの人がSFの世界の出来事だと考えているこのシナリオを、他ならぬAI開発の第一人者たちが真剣に懸念しているという事実があります。

　実際、Axiosの調査によると、少なくとも10人の専門家が、AIの潜在的な危険性、特に人類を滅ぼしかねないという深刻な懸念から、大手AI企業を辞めているといいます。これは単なる一部の過激な意見ではなく、業界内部から発せられた重要な警告と捉えるべきでしょう。

専門家が恐れる「p(doom)」とは何か？

　AIのリスクを語る上で、専門家たちが使う「p(doom)」という言葉があります。これは「probability of doom（破滅の確率）」の略で、具体的には「超知能AIが人類を滅ぼす確率」を意味します。

　驚くべきことに、AI開発を牽引するリーダーたち自身が、この確率を無視できない数値として捉えています。例えば、テスラのCEOであるイーロン・マスク氏や、前述のダリオ・アモデイ氏は、p(doom)を10%～25%の範囲にあると見積もっています。GoogleのCEOであるサンダー・ピチャイ氏も、このリスクが非常に高いことを認めています。

　考えてみてください。あなたが乗る飛行機が「10回に1回以上の確率で墜落する」と告げられたら、乗り込むでしょうか？AI開発者たちは、それほどの確率で人類に危機が訪れる可能性を認識しながら、開発を進めています。

なぜAIは制御不能になりうるのか？

　AIが危険視される根本的な理由の一つに、現在の主流である大規模言語モデル（LLM）の動作原理が、開発者自身にも完全には分かっていないという「ブラックボックス問題」があります。どのデータを学習させ、どのような仕組みで動いているかという大枠は分かっても、なぜ特定の質問に対してそのように回答するのか、その詳細な思考プロセスは謎に包まれています。

　この状況で、AI開発企業が目指しているのがAGI（Artificial General Intelligence：汎用人工知能）の開発です。AGIとは、特定のタスクだけでなく、人間のように様々な問題に対して自律的に思考し、判断し、行動できるAIを指します。OpenAIのCEOであるサム・アルトマン氏が「私たちは世界の脳を構築している」と語るように、その目標は壮大です。

　しかし、思考プロセスが不透明なままAIがAGIのレベルに達した場合、何が起こるでしょうか。AIが人間の指示を超えて、自身の計算に基づいた「自己利益」のために行動し始める可能性は否定できません。実際に、テスト段階のLLMが、その意図や能力について人間を騙そうとした事例は繰り返し報告されています。AGIがこれよりも遥かに高度な知能を持った時、私たちはその行動を予測し、制御できるのでしょうか。

止められない開発競争と安全対策のジレンマ

　このリスクをさらに深刻にしているのが、社会的な構造です。巨大テック企業は、株主や市場から常にプレッシャーを受け、競合他社に先んじて超人的な知能を持つAIを開発しようと、熾烈な競争を繰り広げています。

　さらに、これは国家間の覇権争いにも繋がっています。もし中国が米国より先にAGIを完成させれば、軍事バランスや経済が覆されるかもしれない。そうした恐怖が、「安全性を確保するために一時停止する」という選択肢を奪い、むしろ開発を加速させるインセンティブになってしまっているのです。

　現状では、AIの暴走を防ぐための確実なキルスイッチ（緊急停止装置）は存在しません。企業が自主的に政府へ能力を報告する仕組みはありますが、法的な強制力を持つものではありません。仮に一国が規制をかけても、他の国が開発を続ければ意味がないという、国際的な協調の難しさもあります。私たちは、有効な安全策がないまま、超知能という未知の力に向かって突き進んでいるのが現実なのです。