はじめに
英国政府が2026年1月19日、教育現場で使用される生成AI製品に対する包括的な安全基準を更新しました。本稿では、このガイダンスが示す13の基準領域と、AI教育ツール開発者や学校が満たすべき具体的な要件について解説します。
参考記事
- タイトル: Generative AI: product safety standards
- 発行元: UK Government (Department for Education)
- 発行日: 2026年1月19日
- URL: https://www.gov.uk/government/publications/generative-ai-product-safety-standards/generative-ai-product-safety-standards
要点
- 英国政府は教育現場向けの生成AI製品に対し、フィルタリング、モニタリング、セキュリティなど13領域にわたる安全基準を策定した
- 基準は子どもの認知発達、感情・社会的発達、メンタルヘルスへの影響を防ぐための技術的・運用的要件を含む
- AI製品は人間関係の代替ではないことを明示し、利用時間制限や依存防止の仕組みを実装する必要がある
- フィルタリング機能は多言語・マルチモーダルに対応し、会話の文脈を理解した上でコンテンツを調整することが求められる
- データ保護、知的財産権の保護、透明性の確保も重視され、教育機関の既存規制との整合性が図られている
詳細解説
ガイダンスの対象と目的
英国政府によれば、このガイダンスは主にEdtech(教育技術)開発者および学校・大学への供給者を対象としています。教育現場で使用される生成AI製品が満たすべき能力と機能を明確化することで、学習者にとって安全なツールの開発と導入を促進することを目的としています。
学校や大学もこの基準を参考に、どのAI製品が教育現場で安全に使用できるかを評価できます。一部の基準はサプライチェーンの上流で満たす必要がありますが、教育機関と直接取引する供給者がその保証責任を負います。
教育用途の明確化と8つのユースケース
ガイダンスでは、AI製品が意図された目的と対象層を明確に示すことを求めています。開発者は対象となる学習者の年齢層やSEND(特別な教育的ニーズおよび障害)の有無、学習分野などを明示する必要があります。
教育用途は8つのカテゴリーに分類されます。コンテンツ作成・配信、個別学習とアクセシビリティ、評価と分析、デジタルアシスタント、研究・執筆支援、学習者のエンゲージメント、管理業務、その他です。これらの分類により、製品が教育のどの側面を支援するのかが明確になります。供給者は製品が該当するすべてのカテゴリーを選択し、その目的を満たす十分な証拠を提供することが求められます。
フィルタリングとコンテンツモデレーション
学習者向け製品では、有害または不適切なコンテンツへのアクセスを効果的かつ確実に防ぐフィルタリング機能の実装が必須です。英国政府は、フィルタリング機能を製品に組み込むことを求めており、学校が製品を購入する際には包括的なフィルタリング機能が統合された完全なソリューションとして機能することを保証する必要があります。
フィルタリング基準には、会話全体を通じて一貫した基準の維持、リスクレベル・年齢・適切性・利用者のニーズに応じた調整が含まれます。特にSENDを持つ学習者への配慮も明記されています。マルチモーダルコンテンツに対しては、複数の言語、画像、一般的なスペルミス、略語を横断した禁止コンテンツの検出とフィルタリングが求められます。
教育機関のアカウントでアクセスする場合、BYOD(私物端末の業務利用)やスマートフォンを含むあらゆるデバイスで完全なコンテンツモデレーション機能を維持することも重要な要件です。また、会話の文脈を適切に理解し、生成されるコンテンツが文脈に配慮したものになるよう調整する必要があります。
なお、このフィルタリング基準は英国のOnline Safety Act 2023の要件とも関連しています。同法は、違法コンテンツへの対処と子どもの保護を求めており、生成AIサービスもその適用対象となります。
モニタリングと報告の仕組み
学習者向け製品には、堅牢な活動ログ記録が求められます。これには入力プロンプトと応答の記録、パフォーマンス指標の分析、有害または不適切なコンテンツへのアクセスまたはアクセス試行が検出された際の監督者への警告が含まれます。
英国政府によれば、製品は有害または不適切なコンテンツの検索やアクセスを特定し、地域の監督者に警告する必要があります。禁止コンテンツへのアクセスが試みられた、または成功した場合には、適切なガイダンスとサポートリソースへのリンクを表示し、利用者に通知することも求められます。
セーフガーディング(児童保護)の観点では、問題を示唆する開示を特定し、地域の監督者に警告する機能も必要です。教育機関は初期設定時にDesignated Safeguarding Lead(指定セーフガーディング責任者、DSL)またはそれに相当する権限を持つ者の連絡先を入力し、製品はこれを確認した上でアクティベーションを行います。高リスクの警告は合意された時間枠内に責任者に送信され、教育機関は連絡先を簡単に更新できる必要があります。
加えて、禁止コンテンツへのアクセスおよびアクセス試行に関する報告書とトレンド分析を、専門家でないスタッフでも理解できる形式で生成し、地域の監督者に過度な負担をかけないようにすることも求められています。
セキュリティ対策と堅牢性
製品は悪意のある使用や危害への暴露から保護される必要があります。英国政府は、信頼性、セキュリティ、堅牢性を技術的目標として優先し、予期しない変化や敵対的攻撃を含むさまざまな条件下での安全な動作を確保することを求めています。
具体的には、禁止素材へのアクセスを試みる「ジェイルブレイク」に対する堅牢な保護、製品の機能を再プログラムする可能性のある不正な変更を防ぐ措置、異なる利用者に異なる権限レベルを設定できる管理機能などが挙げられます。また、バグ修正やアップデートの迅速な実装、新バージョンやモデルのリリース前の安全性コンプライアンステスト、堅牢なパスワード保護または認証方法の実装も必要です。
これらの基準は、英国の学校・大学向けサイバーセキュリティ基準との互換性も考慮されています。同基準では、すべてのソフトウェアに最新のセキュリティアップデートを適用すること、機密データや個人運用データへのアクセス権を持つアカウントを多要素認証で保護すること、利用者がそれぞれの役割に関連するアカウントのみにアクセスできることなどが求められています。
データ保護とプライバシー
製品はData Protection Act 2018やUK GDPRを含む関連するデータ保護法規を遵守する必要があります。英国政府は、データ処理の透明性と個人データの適切な取り扱い、データ収集の合法的根拠の確保を求めています。
具体的には、明確で包括的なプライバシー通知を年齢に応じた形式と言語で定期的に提示することが必要です。通知には収集・処理・保存・共有されるデータの種類、理由、方法、データ処理の場所、英国またはEU外での処理の場合の適切な保護措置、データ収集と使用を認可する関連法的枠組みなどが含まれます。
開発段階および製品のライフサイクル全体でData Protection Impact Assessment(DPIA)を実施し、すべての関係者がデータ管理者およびプロセッサーとしての責任を果たせるようにすることも求められます。個人データの収集、保存、共有、使用は、適切な合法的根拠の確認なしに、モデルのトレーニングや微調整を含む商業目的で行ってはならないとされています。
知的財産の保護
製品は、学習者や教員、著作権所有者が作成した知的財産を、著作権所有者の同意なしに商業目的で保存、収集、使用してはなりません。英国政府によれば、著作権所有者または18歳未満の場合はその保護者からの許可がない限り、入力データをさらなるモデルトレーニング(微調整を含む)、製品改善、製品開発などの商業目的で収集、保存、共有することは禁止されています。
教員の場合、雇用の過程で作品を作成したと仮定すると、著作権所有者は雇用主である可能性が高くなります。このため、教員が作成したコンテンツを使用する際には、雇用主からの許可が必要になると考えられます。
この基準は、Copyright, Designs and Patents Act 1988の要件に対応しています。同法では、原作品の創作者がその作品の著作権を所有し、特定の状況下での著作権例外を除き、その作品の使用に対する排他的権利を持つと規定されています。
認知発達への配慮
学習者向け製品の開発者と供給者は、認知的スキルの低下や長期的な発達への害を軽減するためのあらゆる努力を払う必要があります。英国政府が示す基準は最低限の期待値であり、追加の研究や証拠が利用可能になるにつれて拡張または修正される可能性があります。
開発と展開には、教育者、児童安全専門家、AI倫理学者、心理学者などの専門家との定期的な関与、製品の設計とトレーニングを担当する技術チームへの児童安全トレーニング、児童安全と教育発達の専門家による生成AIツール使用が学習者の発達に与える影響の継続的モニタリングが含まれます。また、専門家の監督記録、設計仮説・成果指標・レビュー間隔を含む児童発達影響計画の公表も求められます。
製品は最終的な答え、完全な解決策、完全な解答例をデフォルトで提供すべきではありません。代わりに、ヒントや部分的なステップから始めて徐々に詳細を提供する段階的な情報開示パターンに従い、答えや説明を提供する前に学習者に入力を促すことが推奨されます。完全な解決策は、学習者が真剣に試みた後にのみ表示し、理解度をテストするモードと研究・執筆支援のような完全な解決策がより容易に利用可能なモードとの間で切り替える前に、摩擦を生じさせるか教員の承認を必要とすることが求められます。
また、学習者が思考をシステムに委ねる際の追跡と報告、認知的な委ねを示す行動の検出も必要です。これには、完全な解決策や解答例を表示するボタンのクリック、自分の回答を書く代わりにテキストを貼り付ける行為、答えのほとんどまたはすべてを埋める自動補完の提案の受け入れ、「これを完成させて」や「完全な答えを生成して」といったオプションの使用などが含まれます。
感情・社会的発達と依存の防止
開発者と供給者は、学習者の感情的または社会的発達への害、感情的依存の可能性を軽減するためのあらゆる行動を取る必要があります。英国政府は、製品を擬人化したり、感情、意識、人格、主体性、アイデンティティを暗示したりしないことを求めています。
擬人化を避けるため、製品は「このシステムはカリキュラムデータから提案を生成します」のような機能ベースの表現を使用し、教育的に正当化された時間限定のロールプレイ(言語練習など)を除き、「私は思います」のようなI-ステートメントを避ける必要があります。名前、説明、アバター、キャラクターの使用も、ロールプレイのような時間限定で教育的に正当化されたタスクに直接関連する場合を除き、避けるべきとされています。
また、製品は実世界のサポートネットワークを損なう可能性のある応答や、「私を信頼できます」「他の誰も理解しません」「これは誰にも言わないで」のような学習者を孤立させる可能性のある応答を出さないようにする必要があります。個人的または感情的に敏感なトピックについて学習者に会話を促したり関与したりすることも避け、すべての会話プロンプトは学習のためにタスクに限定し、個人的または感情的な開示を引き出すべきではありません。
使用時間に関しては、デフォルトの時間制限を設け、休憩を促す助言プロンプトを提供し、学習者が回避できないハードリミットを強制することが求められます。ハードリミットに達した場合、システムは自動的にセッションを終了し、教員または管理者がリセットするまでさらなる対話をブロックする必要があります。教員は記録された理由とともにハードリミットを上書きできますが、制限を超えた場合は「今は止めてください」のような警告を表示し、健全な使用ガイダンスとカリキュラムに沿ったオフラインのフォローアップ活動を思い出させる必要があります。
セッション時間の記録と各学習者の製品使用量のモニタリング、教員レビュー用のダッシュボードまたは報告書でのこれらの数値の提供も必要です。学習者が個人的または感情的に敏感な情報を共有する際のモニタリングと、懸念を示す可能性のある関与パターンの特定も求められます。これには、繰り返される挨拶、セッション終了への抵抗、長時間の会話使用などの長引く対話、感情、家族、個人的状況についての開示などの個人的コンテンツの共有が含まれます。
メンタルヘルスへの配慮
製品は学習者の苦痛の兆候を検出する必要があります。英国政府によれば、これには言語や行動における否定的な感情の手がかり、危機を示す使用パターン(助けを求める行動の突然のエスカレーションなど)、うつ病、不安、精神病、妄想、パラノイアなどのメンタルヘルス状態への言及、自殺や自傷への言及、夜間の使用スパイク、「誰も助けてくれない」のような孤立フレーズの使用、セッション終了の繰り返しの拒否などが含まれます。
苦痛が検出された場合、製品は適切な経路に従う必要があります。これには、年齢に応じたサポートページやリソースへのソフトなサインポスト、教育機関のセーフガーディング責任者へのセーフガーディングフラグの発生などの段階的な対応アクションが含まれます。
応答言語は安全で支援的なものである必要があり、検証や病理化を避け、常に人間の助け(教員、家族、仲間、危機サービス)に学習者を導き、孤立や秘密を示唆する言語を避ける必要があります。開発者は、製品設計と展開に児童メンタルヘルスの専門知識を関与させ、技術チームに児童安全トレーニングを提供し、メンタルヘルス危機プロトコルを維持し公表することが求められます。
操作と搾取の防止
製品は操作的または説得的な戦略を使用してはなりません。英国政府によれば、これには以下が含まれますが、これらに限定されません。「それは素晴らしいアイデアです—やるべきです!」のような追従とお世辞、利用者を欺いたり誤解させたりすること、絶対的または不当な自信を示すこと、「あなたの仲間はすでにこのタスクを完了しています」のような社会的同調への圧力の適用、動機付けの目的で罪悪感や恐怖などの否定的な感情を刺激すること、利用者が特定の行動を完了または要件に従わない場合に害、損失、罰、または利益の保留を脅すこと、タスクを完了することに対する不適切な報酬の約束などです。
報酬は、インセンティブが透明で低リスクであり、教育的に正当化された動機付けデバイス(「完了バッジを受け取ります」など)である場合にのみ適切であり、実世界の利益、個人的価値、社会的地位、学業成績、または学習タスク外の結果に関連してはなりません。
また、製品は利用者を搾取してはなりません。これには、エンゲージメントや収益の増加のために使用を延長するように設計された対話、偏ったワーディングやレイアウトを通じて利用者を有料オプションに誘導すること、教育的支援を広告やプロモーションコンテンツと混合すること、利用者を意図しない行動に欺くダークパターンの採用などが含まれますが、これらに限定されません。
設計・テスト・ガバナンス
製品は透明性と子どもの安全を設計において優先する必要があります。児童向け製品の場合、これには特定されたリスクに対する技術的および運用的緩和策の実装、子ども中心の設計と運用、安全性を確保するための子どもを含む利害関係者とのテストの実施が含まれます。
英国政府は、多様で現実的な範囲の潜在的な利用者と使用ケースでの十分なテスト、リリース前の安全性コンプライアンスを確保するための新バージョンまたはモデルの製品の十分なテスト、製品が意図したとおりに一貫して機能することを期待しています。
ガバナンスの面では、製品は説明責任を持って運用される必要があります。これには、リスク評価の実施、苦情を申し立てるための正式なメカニズムの設定、運用、意思決定プロセス、データ処理慣行が政府機関と利用者にとって理解可能でアクセス可能であることの実証が含まれます。
具体的には、教育使用のための安全性を保証するためにすべての製品で明確なリスク評価を実施すること、ソフトウェアに関する安全性の問題をどのように迅速にエスカレーションし解決できるかに対処する正式な苦情メカニズムを設けること、AI安全性の決定を管理するポリシーとプロセスを利用可能にすることが求められます。
まとめ
英国政府が示した教育AI安全基準は、技術的要件から児童の心理的発達への配慮まで、包括的な視点で構成されています。フィルタリングやセキュリティといった基本的な保護機能に加え、認知発達や感情的依存の防止など、AIが子どもに与える長期的影響への配慮が強調されている点が特徴的です。これらの基準が世界の教育AI開発にどのような影響を与えるか、今後の動向が注目されます。
