はじめに
AIが時々、事実に基づかない情報(ハルシネーション)を生成してしまう問題は、ビジネス利用における大きな障壁です。RAGは、この問題を解決するために開発されましたが、実はそのRAG自体にも限界があることが分かってきました。
本稿では、生成AIの回答精度を向上させる技術として注目されている「RAG(Retrieval-Augmented Generation)」が抱える課題と、その解決策について米IBM社が発行した記事「RAG problems persist – here are five ways to fix them」を基に詳しく解説します。
引用元記事
- タイトル: RAG problems persist – here are five ways to fix them
- 著者: Alice Gomstyn, Amanda Downie
- 発行元: IBM
- 発行日: 2025年7月8日
- URL: https://www.ibm.com/think/insights/rag-problems-five-ways-to-fix
要点
- 従来のRAGは、LLM(大規模言語モデル)の性能を向上させるために開発されたが、コンテキストウィンドウの制限、集計操作の不可能性、複雑な関係性の誤解、不適切なデータ分割(チャンキング)、セキュリティ懸念といった複数の課題を抱えている。
- これらの課題を解決するため、SQL RAG、GraphRAG、Agentic Chunking、Agentic RAG、Governed Data Lakehousesという5つの新しいアプローチが有効である。
- SQL RAGは構造化データとの連携を可能にし、GraphRAGはデータ間の関係性を可視化・理解する。
- Agentic Chunkingはデータの分割方法を最適化し、Agentic RAGはより高度な検索を実現する。
- Governed Data Lakehousesは、データガバナンスを強化し、セキュリティを確保する。
- これらの技術は、RAGの精度と信頼性を飛躍的に向上させ、企業がAIをより安全かつ効果的に活用するための鍵となるものである。
詳細解説
そもそもRAGとは? なぜ必要なのか
RAGは「Retrieval-Augmented Generation」の略で、日本語では「検索拡張生成」と訳されます。これは、LLMが回答を生成する際に、あらかじめ用意された社内文書やデータベースといった外部の信頼できる情報源を検索(Retrieval)し、その内容を踏まえて回答を生成(Generation)する仕組みです。
LLMは非常に高性能ですが、学習した時点までの情報しか持っておらず、最新の情報や社外秘のデータについては知識がありません。LLMはハルシネーションという虚偽の情報を発してしまう問題がありますが、特に回答元となるデータが学習されていない場合に顕著にみられます。そのため、企業内の独自情報など学習時に利用されていないデータなどを利用したい場合は、RAGを利用する必要性があります。RAGは、LLMに「カンニングペーパー」を渡してあげるようなもので、このハルシネーションを大幅に抑制し、回答の信頼性を高めるために不可欠な技術とされています。
それでも残る「従来のRAG」の5つの課題
しかし、そのRAGにも限界があることが、指摘されています。IBMのシニアバイスプレジデントであるDinesh Nirmal氏は「純粋なRAGは、期待された最適な結果を実際にはもたらしていません」と述べています。具体的には、主に以下の5つの課題が挙げられます。
- コンテキストウィンドウの制限と集計のできなさ: LLMが一度に処理できる情報量(コンテキストウィンドウ)には限りがあります。例えば、10万件の請求書データから合計金額を計算するような、大量のデータを扱う集計作業は不可能です。
- 複雑な関係性を理解できない: 従来のRAGは、情報間の「つながり」を理解するのが苦手です。例えば、「ある患者が、どの医者から、どの治療を受けたか」といった複雑な関係性を正確に把握することは困難でした。
- 不適切なチャンキング: RAGは、大きな文書を「チャンク」と呼ばれる小さな塊に分割して処理します。この分割が不適切だと、重要な情報が途中で分断され、不完全または不正確な回答の原因となります。
- 検索精度の限界: 従来のRAGでは、構造化データ(例:データベースの表)と非構造化データ(例:PDF文書)を横断的に、かつ高精度に検索することが難しいという問題がありました。
- セキュリティとデータガバナンス: RAGが外部データを参照する際、アクセス権限の設定が引き継がれず、本来アクセスできないはずの情報(個人情報や機密情報)が漏洩してしまうリスクがありました。
RAGの課題を克服する5つの先進技術
これらの課題を解決するための5つの具体的なアプローチがあります。これらは、RAGをより賢く、より安全に使うための重要な進化です。
1. SQL RAG:データベースと対話する技術
これは、RAGとSQL(データベースを操作するための言語)を組み合わせるアプローチです。大量の請求書の合計金額を知りたい場合、LLMが「昨年の請求書の合計は?」という自然な言葉での質問をSQLクエリに翻訳します。そのクエリを使ってデータベースで集計計算を行い、結果だけをLLMに返すことで、コンテキストウィンドウの制限を受けずに正確な答えを得られます。
2. GraphRAG:情報の「つながり」を可視化する技術
これは、情報とその関係性を「ナレッジグラフ」という形で整理し、RAGに利用させる技術です。情報は点(ノード)、関係性は線(エッジ)で結ばれたグラフ構造で表現されます。これにより、前述した患者の病歴の例のように、「誰が」「何を」「いつ」といった複雑な関係性を一目で把握できるようになり、より深い洞察に基づいた回答が可能になります。
3. Agentic Chunking:文脈を理解してデータを分割する技術
これは、AIエージェント(自律的にタスクを遂行するプログラム)を用いて、文書の文脈を理解しながら、より賢くチャンキング(分割)する技術です。例えば、表の途中で分割しないようにしたり、意味のまとまりを考慮してチャンクのサイズを動的に変更したりします。これにより、情報の欠落を防ぎ、回答の精度を高めます。
4. Agentic RAG:高度な検索を実現するエージェント技術
Agentic RAGは、AIエージェントが構造化データ(SQLデータベースなど)と非構造化データ(文書ファイルなど)の両方を自律的に判断して検索しに行く、より高度なRAGのフレームワークです。各データチャンクにメタデータ(タグのような情報)を付与することで、関連性の高い情報をより正確に見つけ出すことができます。
5. Governed Data Lakehouses:セキュリティを確保するデータ基盤
これは、厳格なデータガバナンス機能を持つ「データレイクハウス」をRAGの基盤として利用するアプローチです。データレイクハウスは、元のデータソースが持つアクセス制御リスト(ACL)などの権限設定を継承できます。これにより、ユーザーの権限に応じてアクセスできる情報を制限し、機密情報の漏洩といったセキュリティリスクを根本から解決します。
まとめ
本稿では、IBMの記事を基に、生成AIの回答精度を支えるRAG技術が抱える課題と、それを克服するための5つの先進的なアプローチ(SQL RAG, GraphRAG, Agentic Chunking, Agentic RAG, Governed Data Lakehouses)について解説しました。
これらの技術は、単なる既存技術の改良ではありません。AIがより複雑なタスクをこなし、信頼できるビジネスパートナーとして機能するために不可欠な進化と言えるでしょう。特に、構造化データと非構造化データをシームレスに連携させ、厳格なセキュリティ管理の下で情報を活用できるようにする点は、企業が自社の持つ膨大なデータを真の価値に変える上で極めて重要です。
生成AIの導入を検討している、あるいは既に活用している企業にとって、これらの新しいRAGのアプローチを理解することは、AIのポテンシャルを最大限に引き出し、競争優位性を確立するための重要な一歩となるはずです。