［開発者向け］AIは「皮肉」を理解できるか——IBM Researchが語るサルカズム検出の現状と課題

2026-06-16

はじめに

　IBMが2026年6月11日、AIによる「皮肉(サルカズム)」検出の難しさについて、IBM Researchをはじめとする複数の研究者の見解をまとめた記事を公開しました。本稿では、この発表内容をもとに、AIモデルがなぜ皮肉を見抜けないのか、そしてその解決に向けた研究の現状について解説します。

参考記事

タイトル: AI understands you? Yeah, right
著者: Alice Gomstyn
発行元: IBM Think
発行日: 2026年6月11日
URL: https://www.ibm.com/think/news/ai-understands-you-yeah-right

要点

大規模言語モデル(LLM)による皮肉検出のF1スコアは、複数のデータセットで平均65%程度にとどまり、強いとされる75〜80%の水準に達していないモデルが多いことが、Tianjin大学の2025年の研究で示された
皮肉検出向けの大規模なマルチモーダル(テキスト・音声・映像)データセットが不足しており、代表的なデータセット「MUStARD」もサンプル数が700本程度と少ないことが課題となっている
視線の動き(ゲイズ)を特徴量として組み込むことで、皮肉検出の精度が向上することがIBM Researchらの2023年の研究で報告された
英語であってもインド英語・イギリス英語・オーストラリア英語などの違いによってLLMの皮肉検出性能に差が生じることが、ニューサウスウェールズ大学の2025年の研究で確認された
ドイツのスタートアップFrank Replyは、専用の学習データを使わずに、言語学者ポール・グライスの「協調の原理」に基づくプロンプト設計でLLMに皮肉を検出させる手法に取り組んでいる

詳細解説

なぜAIは皮肉が苦手なのか

　IBM ResearchのシニアリサーチサイエンティストであるAnupama Ray氏によれば、NLP(自然言語処理、Natural Language Processing：人間の言語をコンピュータで処理する技術分野)において、皮肉や感情の理解は特に難しい課題のひとつであり、検出モデルのF1スコア(モデルの精度と再現率を組み合わせた評価指標で、値が高いほど性能が良いとされます)は60〜70%程度にとどまるとされています。Tianjin大学のYazhou Zhang准教授らが2025年に実施した調査でも、十数種類の主要なLLMを対象に皮肉検出を評価した結果、F1スコアは平均で65%を超えることはほとんどなかったと報告されています。

　オーストラリア・ニューサウスウェールズ大学のAditya Joshi氏は、AIモデルが基本的に「最も可能性が高い出力」を選ぶ仕組みになっている点を指摘しています。皮肉は文字通りの意味とは逆の意図を伝える、いわば「最も可能性が低い出力」が正解になる現象であり、これが一般的なAIモデルの設計思想と相性が悪いと説明しています。一般的な機械学習モデルは、学習データの中で頻出するパターンを学習する性質があるため、まれにしか出現しない皮肉のような表現を正しく扱うには追加の工夫が必要になると考えられます。

学習データ不足という壁

　Ray氏は、皮肉検出の学習に使えるデータセットが大規模かつ高品質なものに乏しく、特にテキスト・音声・映像を組み合わせたマルチモーダルなデータセットの不足が深刻だと述べています。オランダ・フローニンゲン大学のXiyuan Gao氏らが2025年に発表した調査論文では、2006年以降の皮肉検出研究を網羅的に振り返り、単一のモダリティ(テキストのみ、音声のみなど)だけでは十分な精度が得られないと結論づけられています。

　代表的なマルチモーダルデータセット「MUStARD(Multimodal Sarcasm Detection Dataset)」は、『フレンズ』や『ビッグバン★セオリー』などの米国シットコムの映像クリップから構成されています。しかし、6,000以上のサンプルのうち皮肉を含むものは少なく、皮肉と非皮肉のバランスを取るために最終的に700本未満まで絞り込まれたという経緯があります。AIモデルの学習データとしては、決して大きな規模とは言えない数だと考えられます。

　この課題に対し、研究者たちはさまざまな拡張手法に取り組んでいます。2022年にはRay氏らが「MUStARD++」としてデータセットを倍増させ、感情の強度や positive/negative の方向性を示す注釈を追加しました。フローニンゲン大学のGao氏らは、翻訳・再翻訳によって言い換え表現を生成し、音声合成モデル「FastSpeech 2」を使って皮肉のニュアンスを残した音声データに変換することで、元データの20倍規模のデータを得る手法を試みています。さらに、台本のあるシットコムではなく、ポッドキャスト番組の実際の会話を元にした新データセット「PodSarc」も2025年の論文で紹介されており、より自然な皮肉表現の収集が進められています。

　PodSarcの注釈作業では、GPT-4oとLLaMA 3という2つのLLMにまず一次判定を任せ、その後に人間の注釈者が確認する二段階の手法が採られました。Gao氏らの研究によれば、GPT-4oは皮肉を見逃しやすい(偽陰性)傾向があり、LLaMA 3は逆に皮肉と判定しすぎる(偽陽性)傾向があったとされ、両モデルの判定が4分の1以上のケースで一致しなかったといいます。研究の現場では、AIによる一次判定と人間による確認を組み合わせる体制が、現時点では実用的なバランスと考えられているようです。

視線データや多言語対応への広がり

　Ray氏は2023年、視線の動き(ゲイズ)のデータを皮肉検出に活用する研究にも参加しています。人は皮肉が含まれる文章を読むとき、同じ箇所を読み返す回数が、皮肉を含まない文章よりも多くなる傾向があるとのことです。この研究では、視線データとテキスト・音声・映像のデータを「アテンション機構(複数の情報のうち、どこに注目すべきかをモデルが学習する仕組み)」で組み合わせる枠組みが開発され、視線データを使わない場合と比べて検出精度が大きく改善したと報告されています。

　また、皮肉検出における言語の多様性も課題として挙げられています。これまでの研究の多くは英語データに偏っており、中国語・スペイン語・ヒンディー語のデータセットも存在するものの、全体としては言語的な多様性が不足しているとGao氏らは指摘しています。さらに、Joshi氏の2025年の研究では、同じ英語であってもインド英語に対するLLMの性能が、イギリス英語やオーストラリア英語と比べて明確に低いことが確認されました。この結果を踏まえ、Joshi氏らはGoogleのレビューやRedditの投稿から構築した、英語の地域差を考慮したベンチマーク「BESSTIE」を開発しています。多言語・多文化のユーザーを抱える企業がAIを導入する際には、こうした地域差による精度のばらつきも考慮しておくとよいと考えられます。

データセットに依存しないアプローチ

　一方で、専用の学習データセットを使わずに皮肉に対応しようとする取り組みもあります。ドイツ・フランクフルトのスタートアップFrank Replyは、「メタ認知プロンプティング」と呼ぶ手法で、LLMに「思考の仕方」を指示する方法に取り組んでいます。具体的には、20世紀の言語哲学者ポール・グライスが提唱した「協調の原理(会話が有益・誠実・関連性があり・明確であるべきという考え方)」に基づき、これらの原則から外れた発言があった場合に、字面とは異なる意図(グライスの「会話の含意」)が込められている可能性をモデルに確認させるという設計です。このアプローチはまだ新しく、性能に関する具体的な統計は示されていませんが、専用データセットの構築が難しい状況においては、プロンプト設計による対応も一つの選択肢になり得ると考えられます。

　なお、本稿で紹介した研究者らによれば、OpenAI・Anthropic・Metaなどの主要AI企業から、皮肉検出に関する具体的な取り組みについての回答は得られていないとのことです。

　AIの感情に関する話題については、Anthropicが大規模言語モデルの内部に「機能的感情」と呼べる概念を発見したという発表も整理していますので、AIと感情・ニュアンスの関係に関心のある方はあわせてご覧いただければと思います。

まとめ

　本稿では、AIによる皮肉検出の現状について、IBM Researchをはじめとする複数の研究者の見解を紹介しました。学習データの不足や言語・文化の多様性といった課題が残る一方、視線データの活用やプロンプト設計など、多様なアプローチが模索されています。カスタマーサポートなどでAIを活用する場面では、こうした限界を踏まえた運用が求められるのではないでしょうか。