はじめに
New York Timesが2025年11月25日に報じた内容によれば、カリフォルニア州ネバダ郡の検察官がAI生成の可能性がある欠陥のある法的書類を裁判所に提出し、被告の保釈を却下させたとして、弁護側が州最高裁判所に調査を要請しています。本稿では、検察官によるAI誤用の実態と、法務分野でのAI利用に関する課題について解説します。
参考記事
- タイトル: Prosecutor Used Flawed A.I. to Keep a Man in Jail, His Lawyers Say
- 著者: Shaila Dewan
- 発行元: New York Times
- 発行日: 2025年11月25日
- URL: https://www.nytimes.com/2025/11/25/us/prosecutor-artificial-intelligence-errors-lawyers-california.html
・本稿中の画像に関しては特に明示がない場合、引用元記事より引用しております。
・記載されている情報は、投稿日までに確認された内容となります。正確な情報に関しては、各種公式HPを参照するようお願い致します。
・内容に関してはあくまで執筆者の認識であり、誤っている場合があります。引用元記事を確認するようお願い致します。
要点
- カリフォルニア州ネバダ郡の検察官が提出した法的書類に、AI生成の特徴を示す多数の誤りが発見され、4つの事件で同様の問題が確認された
- 誤りには州憲法の誤解釈、存在しない判例の引用、判例の意味の逆転など、重大な法的ミスが含まれていた
- 弁護側は州最高裁判所に調査を要請し、22人の法律・技術専門家が誤判決のリスクを警告する意見書を提出した
- 検察官Jesse Wilsonは1件のみでAIを使用したと説明しているが、弁護側はより広範な問題の可能性を指摘している
- HECパリの研究者によれば、世界中で590件以上のAIハルシネーション事例が裁判所で検出されているが、検察官による使用例は極めて稀である
詳細解説
事件の概要：保釈却下の根拠に重大な誤り
New York Timesによれば、57歳の溶接工Kyle Kjollerは2025年4月、複数の違法な銃器所持の罪でカリフォルニア州ネバダ郡で保釈なしで拘留されました。Kjoller氏は、自身に対する罪状はカリフォルニア州法の下で保釈なしの拘留を正当化するほど重大ではないと主張しました。
これに対し、検察側は11ページに及ぶ反論書面を提出しましたが、弁護側の主張によれば、この書面には生成AIに特有の誤りが多数含まれていました。Madison Maxwell副検事が作成したこの書面では、州憲法が「事実が明白であるか推定が大きい場合、釈放が他者に重大な身体的危害をもたらす可能性が高い場合」に保釈前拘留を課すことができると記載されていました。
しかし、引用された条項によれば、この規定は暴力的重罪または重罪性的暴行で起訴された場合にのみ適用されます。Kjoller氏はいずれの種類の犯罪でも起訴されていませんでした。このような憲法規定の誤った適用は、被告の基本的権利に直接影響を与える重大な誤りと言えます。
4つの事件で発見された系統的エラー
Kjoller氏の弁護団は調査を進める中で、同じJesse Wilson地方検事の事務所から提出された4つの別々の事件の書面に、同様の誤りが含まれていることを発見しました。これらの誤りには、判例を誤った裁判所に帰属させる、不正確な引用で特定する、誤った名称を付ける、または誤って引用するといった問題が含まれていました。
特に問題とされた事例の一つでは、2歳の子供に致死量のフェンタニルを曝露させた疑いのある父親が、刑務所での服役ではなく精神保健治療を命じるよう裁判所に要請しました。Maxwell副検事の書面は、Sarmiento対Superior Court事件の控訴裁判所の判決を引用し、公共の安全を保護するために精神保健治療の選択肢を拒否する広範な裁量権を裁判官が持つと主張しました。
しかし、Sarmiento判決は実際には正反対の主張をしており、裁判所の判事が治療を拒否することで行き過ぎたと判断していました。このような判例の意味の完全な逆転は、生成AIが文脈を適切に理解できず、表面的なキーワードマッチングに基づいて誤った結論を導く典型的なパターンと考えられます。
検察官の説明と対応
Wilson検事は書面に多数の誤りが含まれていることを認めていますが、AIは4つの書面のうち1つの草稿作成にのみ使用され、Kjoller氏の事件の書面には使用されなかったと述べています。Maxwell副検事は、Kjoller氏の事件における誤りについて質問された際、「複数の案件に取り組み、常に法廷にいて、複数の書面作成に対応し、調査と草稿作成において急ぎすぎた結果による純粋な誤り」と説明しました。
これに対してWilson検事は声明で、「引用誤りの原因が人工知能の使用から生じたものであれ、従来の人為的ミスであれ、当事務所は最高水準の誠実性を維持することに引き続き専念しています」と述べました。また、事務所はAI方針指令を制定し、新しいスタッフトレーニングを実施したと付け加えました。
ただし、この説明は弁護側を納得させていません。人為的ミスとAI生成エラーには異なるパターンがあり、今回の事例で見られた系統的な誤り—特に判例の意味の逆転や存在しない引用の創出—は、AIハルシネーションの典型的な特徴と考えられています。
法曹界での広がりと専門家の懸念
New York Timesによれば、法的文書におけるAI生成エラーの問題は、ChatGPTやGeminiなどのツールの普及とともに急増しています。これらのツールは、電子メール、学期論文、法的書面など、幅広いタスクを実行できます。弁護士や裁判官でさえ、偽の法的参照や誤った議論で満たされた裁判所書類を提出したことが発覚し、恥をかいたり、時には多額の罰金を科されたりしています。
しかし、Kjoller事件は、判事や陪審員に大きな影響力を持つ検察官が、適切な安全対策なしにAIを使用したとして告発された最初の事例の一つです。カリフォルニア州公設弁護人協会のKate Chatfield事務局長は、「裁判官がその偽の権威に依拠する可能性があり、その結果、あなたの自由が奪われたり、保釈金が引き上げられたり、拘留されたりする可能性があります」と述べています。
11月22日金曜日には、22人の法律および技術専門家のグループが弁護団に加わり、AIの無制限な使用が誤った有罪判決につながる可能性があると警告しました。このグループは州最高裁判所に独自の意見書を提出し、250人以上の無実の人々の無罪を証明するのを支援したInnocence Projectの共同創設者Barry Scheckなどが含まれていました。
HECパリの上級研究者Damien Charlotinは、裁判所や審判所がハルシネーションされたコンテンツを検出した590件以上の世界中の事例を含むデータベースを維持しています。半数以上は裁判で自己弁護した人々が関与し、3分の2は米国の裁判所での事例でした。検察官によるAI使用が関与した事例は、イスラエルの1件のみでした。
AI法務ツールの現状と課題
New York Timesによれば、弁護士はAIの使用を禁止されていませんが、書面がどのように作成されたとしても、正確で法律に忠実であることを確保する必要があります。今日の人工知能ツールは、特に複雑な法的質問をされた場合、時々「ハルシネーション」、つまり事実を創出することが知られています。
法的調査を支援するために特別に設計されたAIツールは、ChatGPTなどの汎用ツールよりもやや優れたパフォーマンスを発揮すると専門家は述べています。ネバダ郡地方検事事務所は、9月に専門ツールWestlaw Advantageの使用を開始しました。これは、Kjoller氏の弁護士が特定した4つの欠陥のある書面の最後のものを提出した同じ日でした。
Westlawの幹部は、AIが法的書面を書くために必要な複雑な推論にまだ対応できないと考えているため、彼らのAIツールは法的書面を作成しないと述べました。彼らのツールが生成する調査レポートには引用が含まれており、弁護士は引用された各判例をクリックして読むことができると述べ、レポートには誤りが含まれている可能性があるという警告が含まれていると付け加えました。Westlawの製品責任者Mike Dahnは、「誰も、読んだことのない判例を大量に引用して裁判所に文書を提出すべきではありません」と述べています。
アリゾナ州立大学の法学教授Gary Marchantは、裁判所書類におけるAI生成エラーは通常、意図的な欺瞞ではなく過失の結果であると述べています。それでも、AIツールの一般的な欠陥は「媚びへつらい」、つまり人々が聞きたいことを伝えることであると指摘しています。「AIに議論を支持する判例を提供するよう依頼すると、人間の弁護士と同じように、何かを見つけるために無理をすることがよくあります」と述べています。この特性は、法的主張の客観性を損なう重大なリスクと考えられます。
裁判所の対応と今後の課題
Kjoller氏の弁護団が検察側の書面の誤りを発見したとき、彼らは第3控訴裁判所に対し、誤りを特定して争うための費用23,000ドルの払い戻しを含む制裁を受けるべき理由を示すよう検察側に命じることを要請しました。裁判所は説明なしにその申し立てを却下しましたが、Kjoller氏のための新しい保釈審理を命じました。
その後、Kjoller氏の弁護士は、Wilson氏の事務所が別の事件で提出した、同様の誤りを含むと彼らが主張する書面を発見しました。その書面はすでに裁判官の目に留まっており、裁判官はAI生成エラーは「確かに誰もが注意すべきこと」だと警告していました。
Kjoller氏の弁護士は検察官事務所に対する制裁の要求を更新しましたが、その直後にKjoller氏は裁判で有罪判決を受け、控訴裁判所は再び制裁要求を却下しました。Chatfield氏は、他のカリフォルニア州の裁判所が最近、弁護士に対してAI関連の叱責をいくつか発し、10,000ドルの罰金を科したこともあるため、控訴裁判所が告発を軽視しているように見えることに驚いたと述べました。
11月6日の疑わしい提出物が関与した事件の1つの審理で、Maxwell副検事は自身の書面に対する一連の訂正と説明を提供しました。引用符で囲まれているが引用元には表示されていない文章について質問されたとき、彼女はそれらはイタリック体で表示されるべきだったと述べました。その事件で被告を代表したAngell氏は、彼女の説明に異議を唱え、「それは高校英語です—何かを引用符で囲む場合、あなたは別の当事者に帰属する言語を直接引用しているのです」と審理で述べました。
まとめ
カリフォルニア州ネバダ郡の検察官によるAI誤用疑惑は、法務分野でのAI利用における深刻な課題を浮き彫りにしています。生成AIの「ハルシネーション」問題は技術的に知られた制約ですが、検察官という公的な立場での使用は、被告の基本的権利に直接影響を与える可能性があります。今後、法務分野でのAI利用には、より厳格な検証プロセスと専門的なトレーニングが不可欠と考えられます。
