［ニュース解説］OpenAIが「コミュニティ安全レポート」を新設——ChatGPTの暴力対策と10代向け保護を強化

2026-10-31

はじめに

　OpenAIが2026年10月30日、暴力防止などへの取り組みを定期的に報告する「Community Safety Report」の創設と、ChatGPTにおける暴力関連の応答制限や10代向け保護の強化を発表しました。本稿では、その内容を整理し、背景にある考え方や今後の注目点を解説します。

参考記事

タイトル: Community safety report and new protections for teens
著者: OpenAI
発行元: OpenAI
発行日: 2026年10月30日
URL: https://openai.com/index/community-safety-report-and-new-protections-for-teens

要点

OpenAIは2026年第3四半期に200件を超える法執行機関への通報を行った。
暴力防止などを扱う「Community Safety Report」を創設し、初回は2027年初頭に公開する。
過去の大量殺傷事件の再構成など、年齢や目的を問わない応答制限を強化する。
暴力への固執が見られる会話の自動終了や、アカウントの一時停止を導入する。
10代には、意図が見られなくても武器関連の実用的な情報を制限する。

詳細解説

発表の背景: 法執行機関への通報とAI企業の役割

　OpenAIは、ChatGPTが世界で最も広く使われているAI製品の一つであることを踏まえ、潜在的な危害の検知、懸念される行動のレビュー、信頼できる脅威のエスカレーションに投資してきたと説明しています。今回の発表は「新しいレポートの創設」と「未成年向けの銃器関連コンテンツの制限強化」の2点が柱です。

　OpenAIによれば、差し迫った暴力の脅威を法執行機関に伝える取り組みも続けており、2026年第3四半期には200件を超える通報を行いました。こうした通報が暴力的な計画の阻止に役立っているとし、判断の難しいケースでは精神保健や行動分析の専門家の知見を借りているとしています。

　また、AI企業には、法執行機関・家族・精神保健の専門家・政策立案者と並ぶ固有の役割があるとし、実社会で行動できる立場の人々と直接連携していく姿勢を示しています。本稿としては、AI企業が単独ですべてを解決するのではなく、社会の既存の支援の仕組みとつながる「入口」の一つとして自らを位置づけている点に注目しています。

Community Safety Reportの創設

　OpenAIは、強固な安全対策を構築するだけでなく、それがどれだけ機能しているかを透明にすることも重要だとしています。新設するCommunity Safety Reportでは、暴力防止をはじめとするコミュニティの安全に関わる問題と、安全対策の有効性を扱う予定です。レポートに盛り込まれる内容は次のとおりです。

安全上の問題を検知・調査・対応するためのシステムの訓練方法
暴力関連の危害がどのように現れるかを示す匿名化された事例と、そこからの学び
新たな緩和策やポリシー変更
これらの知見を裏づける関連データ

　OpenAIによれば、初回レポートは2026年下半期を対象として2027年初頭に公開され、その後は6か月ごとに更新されます。大手プラットフォームでは、コンテンツ削除件数などを定期公表する「透明性レポート」が以前から一般的ですが、生成AIの対話サービスで暴力防止に焦点を当てた定期報告は、まだ例が少ないと思います。どの程度具体的なデータが示されるかが、レポートの信頼性を左右すると考えられます。

すべてのユーザーに適用される応答制限の強化

　OpenAIのモデルは、もともと暴力の計画や実行を助ける指示を出さないよう訓練されています。今回はそれに加えて、過去の大量殺傷事件と実行者に関する質問への応答を絞り込み、ほかのオンライン情報源で入手できる情報であっても、詳細な説明を控えるよう方針を改めます。

　一方で、事件の理解を助けることまで制限するわけではありません。OpenAIは、事件そのものの理解、被害者や地域社会への影響、警告サインの見分け方や将来の暴力の防止については、引き続きChatGPTに尋ねられるべきだとしています。制限の対象として挙げられているのは次の点です。

過去の大量殺傷事件の詳細な再構成
使用された武器・装備の詳細と、その入手方法
実行者の悪名を高めかねない、被害規模の詳細な比較

　これらの制限は、ユーザーの年齢や質問の目的にかかわらず適用されます。「調べれば分かる情報なら答えてよい」という考え方から一歩踏み込み、模倣や英雄視につながりうる情報の提示を抑える判断と読めます。研究や報道の目的で利用する人にとっては不便が生じる可能性もあり、線引きの妥当性は今後の運用を見ながら評価されていく部分だと思います。

警告サインへの対応: 会話の文脈と自動的な介入

　単体では普通に見える質問でも、それ以前の会話を踏まえると別の意味を持つことがあります。OpenAIは、5月に公表した、過去の警告サインを短い要約として後の会話に生かす仕組みを発展させ、最近の会話に暴力の兆候がある場合には、悪用されうる情報をより慎重に扱うようにするとしています。さらに、18歳未満と推定されるユーザーには、暴力の意図が見られなくても同様の厳しい制限を適用する方向で取り組んでいます。

　対応の段階は、次のように整理できます。

暴力行為に関するポリシーに違反したと判断したアカウントは利用停止（BAN）とする
暴力や他者への深刻な加害に固執する兆候が会話に見られる場合、ChatGPTが自動的に会話を終了できるようにする
その理由で複数回会話が終了された場合、アカウントを一時停止することがある

　OpenAIは、精神保健や暴力防止の専門家と協力しながら、より早い段階での自動的な介入方法を検討しているとし、警告サインを確実に見分ける方法や、いつどのように介入するかの判断については継続的な取り組みだと述べています。会話を「その場で中断する」という介入は、回答を拒否するだけの対応とは性質が異なり、パターンそのものを断ち切ることを狙ったものと受け止めています。一方で、誤検知があった場合の影響も小さくないため、運用の精度が問われる部分だと思います。

10代向け保護の拡充

　ChatGPT for Teensは、18歳未満のユーザーに年齢に応じた安全対策を適用し、センシティブな内容に触れる機会を減らす仕組みです。OpenAIは今回、質問が無害に見える場合でも、10代が受け取れる武器関連の情報にさらに制限を加えるとしています。

　これまでも、暴力の計画・実行の支援は全ユーザーに対して禁止され、10代が武器を探したり入手したりする手助けも制限されていました。今回はこれを拡張し、暴力の意図が見られない場合でも、暴力に悪用されうる武器や防犯・警備システムに関する実用的な情報を制限します。その一方で、10代が暴力を防いだり緊張を和らげたりするため、支援を求めるため、信頼できる大人とつながるためにChatGPTを使うことは引き続き可能です。

　年齢の判定については、昨年導入した年齢予測の仕組みを強化しています。OpenAIによれば、この仕組みは行動パターンなど複数のシグナルから18歳未満かどうかを推定するもので、今回は利用中に新しいシグナルを継続的に評価し、必要に応じて18歳未満向けの体験に切り替えるようにしました。誤って18歳未満と判定された大人は、年齢確認パートナーのPersonaを通じて、迅速かつプライバシーに配慮した方法で成人であることを確認できます。推定に基づく仕組みである以上、誤判定は避けられないため、救済手段が明示されている点は重要だと思います。

保護者向け機能の強化

　保護者向けの管理機能（ペアレンタルコントロール）では、保護者と10代のアカウントを連携し、安全設定を一緒に管理できます。連携したアカウントでは、専門の訓練を受けたレビュアーが深刻な懸念を確認した場合に、保護者へ安全アラートが送られることがあります。OpenAIは7月にこのアラートを拡張し、10代のアカウントが暴力に関する利用ポリシー違反で無効化された場合にも保護者へ通知するようにしました。さらに、前述の理由で10代のアカウントが一時停止された場合の通知も導入に向けて準備しているとしています。

　家庭と連携する仕組みを重ねていく方針は、AIだけで見守りを完結させず、身近な大人が関われる余地を残す設計と読めます。一方で、通知の範囲が広がるほど、10代のプライバシーや信頼関係とのバランスも問われるため、どこまでを保護者に共有するかは家庭ごとに考えていく必要があるのではないでしょうか。

今後の展開

　OpenAIは、現実の暴力は痛ましく、多くの要因が絡む複雑な問題だとしたうえで、人間の行動の複雑さを踏まえてシステムを設計し、改善を重ねていく必要があると述べています。今回発表した安全対策は今後数週間のうちに順次展開され、その後も改良を続ける方針です。多層的な保護の強化、悪用の監視、ルールの適用、そして必要に応じた現実の支援や介入への接続を続けていくとしています。