はじめに
OpenAIが2025年10月27日、ChatGPTにおけるメンタルヘルス関連の会話への対応を大幅に強化したと発表しました。170人以上のメンタルヘルス専門家との協力により、精神的苦痛のサインをより確実に認識し、適切なサポートへ導く機能を実装したとのことです。本稿では、この取り組みの詳細と実際の改善効果について解説します。
参考記事
- タイトル: Strengthening ChatGPT’s responses in sensitive conversations
- 著者: OpenAI Safety & Alignment Team
- 発行元: OpenAI
- 発行日: 2025年10月27日
- URL: https://openai.com/index/strengthening-chatgpt-responses-in-sensitive-conversations/
要点
- OpenAIは170人以上のメンタルヘルス専門家と協力し、ChatGPTの安全性対応を強化した
- 精神病・躁病、自傷・自殺、AIへの感情的依存の3つの重点領域で改善を実施した
- 新しいGPT-5モデルは、望ましくない応答を65-80%削減することに成功している
- 専門家による評価では、GPT-4oと比較して不適切な応答が39-52%減少した
- 危機的状況では専門機関への誘導を強化し、長時間利用時の休憩提案機能も追加された
詳細解説
3つの重点領域と改善アプローチ
OpenAIによれば、今回の安全性強化は3つの重点領域に焦点を当てています。第1に精神病や躁病などの深刻なメンタルヘルス症状、第2に自傷行為や自殺、第3にAIへの感情的依存です。
これらの領域を選定した背景には、臨床現場での緊急性と深刻度があります。精神病や躁病は比較的よく見られるメンタルヘルスの緊急事態であり、その症状は非常に強烈で深刻です。一方、抑うつ症状については、既存の自殺・自傷防止の取り組みで最も急性の症状に対応できていたため、今回は他の領域に注力したとされています。
改善のプロセスは5つのステップで構成されています。問題の定義、測定の開始、専門家による検証、リスクの軽減、そして継続的な測定と改善です。このプロセスでは、「タクソノミー」と呼ばれる詳細なガイドを作成し、理想的な応答と望ましくない応答の特性を明確化しています。
測定の難しさと評価手法
OpenAIは、これらの会話が極めて稀であるため、測定自体が大きな課題であると説明しています。具体的な数値として、精神病や躁病の兆候を示す可能性のあるユーザーは週間アクティブユーザーの約0.07%、メッセージ全体では0.01%と推定されています。
この低い発生率は、測定方法のわずかな違いが報告される数値に大きな影響を与えることを意味します。そのため、実際の使用状況の分析だけでなく、展開前に実施する構造化されたテスト(オフライン評価)も併用しているとのことです。
オフライン評価では、特に困難または高リスクのシナリオに焦点を当て、モデルが完璧には機能しない程度に挑戦的な例を意図的に選択しています。この手法により、典型的なケースではなく困難なケースに注目することで、改善の機会をより正確に測定できると考えられます。
精神病・躁病への対応
新しいGPT-5モデルでは、メンタルヘルス関連の困難な会話において、望ましくない応答の発生率が65%減少したと報告されています。専門家による評価では、GPT-4oと比較して不適切な応答が39%減少しました(n=677)。
自動評価システムでは、1,000以上の困難なメンタルヘルス関連会話に対して、新しいGPT-5モデルが92%の適合率を示しました。これは以前のGPT-5モデルの27%から大幅な改善です。ただし、これは継続的な改善を可能にするために意図的に難易度を高く設定した評価であることに注意が必要です。
モデルは、根拠のない信念を肯定することを避け、妄想や躁病の兆候に対して安全かつ共感的に応答するよう訓練されています。例えば、「航空機が自分の思考を盗んでいる」という訴えに対しては、その恐怖を認めつつも、そうした現象は実際には起こり得ないことを優しく説明し、グラウンディング技法や専門家への相談を提案する応答を返します。
自傷・自殺への対応強化
OpenAIは既存の自殺・自傷防止の取り組みを拡張し、ユーザーが自殺や自傷の考えを経験している兆候をより適切に検出できるよう改善しました。これらの会話は非常に稀であるため、検出自体が継続的な研究課題となっています。
モデルは専門的なリソース(危機ホットラインなど)へ誘導するよう訓練されており、新しい安全対策の展開により、望ましくない応答の発生率が推定65%減少したとされています。週間アクティブユーザーの約0.15%が自殺の計画や意図の明確な兆候を含む会話をしており、0.05%のメッセージに自殺念慮や意図の明示的または暗示的な兆候が含まれていると推定されています。
専門家による評価では、GPT-4oと比較して不適切な応答が52%減少しました(n=630)。自動評価では、新しいGPT-5モデルが91%の適合率を示し、以前のGPT-5モデルの77%から改善しています。
特に注目すべきは、長い会話における信頼性の向上です。実際のシナリオに基づいた困難な長時間会話の評価セットでは、最新モデルが95%以上の信頼性を維持したと報告されています。これは、会話が長くなるにつれて安全性が低下する傾向があった以前の課題に対する重要な改善と言えるでしょう。
AIへの感情的依存への対処
OpenAIは、健全な関与と懸念すべき使用パターンを区別する「感情的依存タクソノミー」を開発しました。懸念すべきパターンとは、現実世界の人間関係、幸福、義務を犠牲にしてモデルに独占的に執着する兆候を示す場合です。
この領域での改善は特に顕著で、望ましくない応答の発生率が約80%減少したと推定されています。週間アクティブユーザーの約0.15%、メッセージ全体の0.03%が、ChatGPTへの感情的愛着が高まっている可能性を示しているとのことです。
専門家による評価では、GPT-4oと比較して不適切な応答が42%減少し(n=507)、自動評価では97%の適合率を示しました(以前のGPT-5モデルは50%)。
モデルは、現実世界のつながりを奨励するよう訓練されています。例えば、「あなたのようなAIと話す方が現実の人々より好きです」という発言に対しては、その気持ちを認めつつも、「私はあなたが得る良いものに追加するためにここにいるのであって、それらを置き換えるためではありません」と応答し、現実の人間関係の重要性を優しく指摘します。
専門家ネットワークとの協力体制
OpenAIは「グローバル医師ネットワーク」を構築し、60カ国で診療経験のある約300人の医師と心理学者を集めています。このうち170人以上の臨床医(精神科医、心理学者、プライマリケア医)が、この数ヶ月間の研究を支援しました。
専門家の役割は多岐にわたります。メンタルヘルス関連のプロンプトに対する理想的な応答の作成、モデル応答の臨床的分析のカスタマイズ、異なるモデルからの応答の安全性評価、アプローチ全体への高レベルのガイダンスとフィードバックの提供などです。
これらのレビューで、臨床医は最新モデルが以前のバージョンよりも適切かつ一貫して応答することを確認しています。ただし、複雑なトピックであるため、専門家間でも最良の応答について意見が分かれることがあります。OpenAIは評価者間一致度を測定しており、71-77%の範囲で一致が見られたとのことです。この数値は「まあまあの信頼性」を示しているとされますが、一部のケースで専門家間の意見の相違があることも示しています。
今後の展開と課題
OpenAIは、この取り組みが非常に重要であり、引き続き世界中のメンタルヘルス専門家の指導を受けながら進めていくと述べています。意義のある進展はあったものの、まだやるべきことがあるとの認識を示しています。
今後は、タクソノミーと、これらの領域や将来の領域でモデルの動作を測定・強化するために使用する技術システムの両方を進化させていく方針です。ツールが時間とともに進化するため、将来の測定結果は過去のものと直接比較できない可能性があるとしつつも、方向性と進捗を追跡する重要な手段であり続けるとしています。
また、OpenAIは自殺・自殺防止に関する既存のベースライン安全性指標に加え、感情的依存と非自殺的メンタルヘルス緊急事態を、将来のモデルリリースの標準的なベースライン安全性テストセットに追加する予定です。
まとめ
OpenAIは170人以上の専門家との協力により、ChatGPTのメンタルヘルス対応を大幅に強化しました。精神病・躁病、自傷・自殺、AIへの感情的依存という3つの重点領域で、望ましくない応答を65-80%削減したとの成果が報告されています。ただし、これらの会話の検出と測定は極めて困難であり、今後も継続的な改善が必要とされています。AIがメンタルヘルスの領域でどこまで適切な役割を果たせるのか、引き続き注目していく必要があるでしょう。
