RAGは万能じゃない——限界を知る企業だけが成果を出す理由

「社内ナレッジをAIに読ませれば、何でも答えてくれる」——RAG（Retrieval-Augmented Generation）に対する期待は、この一文に集約される。RAG市場は2024年の12億ドルから2030年には110億ドルへ、年平均49%で成長する見通しだ（出典: Techment, 2026）。

だが、期待通りの成果を出している企業は一握りに過ぎない。社内RAGを導入したものの「回答精度が低い」「結局使われなくなった」という声は珍しくない。IBMのエンジニアリングチームは、RAGの構造的な問題点を5つ特定し、それぞれに根本原因があると指摘している（出典: IBM, 2026）。

RAGは強力な技術だ。ただし万能ではない。この記事では、RAGの構造的な限界を正直に解き明かし、その限界を突破するAgentic RAGという新しいアプローチを、海外事例と実践的なツール活用法から解説する。

RAGの仕組み——30秒で理解する基本構造

RAGとは、LLM（大規模言語モデル）に外部データを参照させる仕組みだ。LLM単体では学習データにない情報——社内マニュアル、契約書、過去の議事録——に答えられない。RAGはこの弱点を補う。

基本的な流れは3ステップ。ユーザーが質問を入力する。システムが関連するドキュメントをベクトルデータベースから検索する。検索結果をコンテキストとしてLLMに渡し、回答を生成する。

仕組みはシンプルだ。だが、このシンプルさが落とし穴になる。「導入すれば動く」と思い込み、運用設計を怠った企業が成果を出せない。RAGは導入技術ではなく、運用技術だ。この認識が、成功と失敗を分ける最初の分岐点になる。

図1: RAGの基本構造と成果を阻む3つのボトルネック

RAGの構造的限界——なぜ「導入しただけ」では成果が出ないのか

限界1: チャンキングの罠

RAGでは、ドキュメントを小さな「チャンク」に分割してベクトルデータベースに格納する。この分割処理がチャンキングだ。

問題は、チャンキングの際に前後の文脈が失われることにある（出典: IBM, 2026）。たとえば、50ページの社内規程を500字ずつに分割すると、第3章の記述が第1章の前提条件と切り離される。LLMは渡されたチャンクだけを見て回答するため、「第3章ではこう書いてあるが、第1章の条件を考慮すると答えが変わる」といった複合的な判断ができない。

Fortune 500の製造業企業が5,000万件超のレコードを検索するRAGシステムを構築した際、最も時間を費やしたのはこのチャンキング設計だった。最終的にユーザー満足度90%を達成したが、チャンキング戦略だけで3回のやり直しを経ている（出典: Medium, 2026）。

対策は「オーバーラップ」と「階層的チャンキング」だ。チャンク間に20-30%の重複を持たせることで文脈の断絶を緩和する。さらにドキュメント全体のサマリーをメタデータとして付与し、チャンク単体でも文脈が復元できる設計にする。

限界2: 集計・横断検索ができない

RAGが根本的に苦手なのが、データの集計操作だ（出典: IBM, 2026）。「過去3年間の全請求書の合計金額は？」という質問に、RAGは答えられない。10万件の請求書をすべてコンテキストウィンドウに入れることは物理的に不可能だからだ。

同様に、「全社員の中で最も有給消化率が低い部署は？」といった横断的な分析もRAGの守備範囲外になる。これらはSQLやBIツールの仕事であり、RAGに求めるべきではない。

にもかかわらず、多くの企業が「RAGを入れれば何でも聞ける」と期待して導入する。この期待値のミスマッチが、「使ってみたけど使えない」という評価につながる。

限界3: データ品質の壁

参照元データが古ければ、RAGの回答も古くなる。当然の帰結だが、見落とされがちだ（出典: Kaopiz, 2026）。

社内Wikiに3年前の手順書が残っていれば、RAGはそれを「正しい情報」として回答する。組織変更で廃止された承認フローを案内する。すでに終了したキャンペーンの条件を提示する。AIが自信満々に間違った情報を返す——ハルシネーションよりもたちが悪い。なぜなら出典元が実際に存在するため、間違いに気づきにくいからだ。

Agentic RAG——限界を突破する次世代アプローチ

RAGの限界を認識した上で、それを構造的に解決しようとするのがAgentic RAGだ。

従来のRAGは「受動的」だ。質問が来たら、決められた検索パイプラインに従って回答する。一方Agentic RAGは、AIエージェントがRAGの検索プロセス自体を制御する。検索結果が不十分なら追加検索を行い、複数のデータソースを横断し、必要に応じて外部APIを呼び出す。

DoorDashの事例が象徴的だ。同社はカスタマーサポートにRAG + LLMガードレール + LLMジャッジの3層構成を導入した（出典: Evidently AI, 2026）。RAGが回答を生成し、ガードレールが不適切な回答をフィルタリングし、LLMジャッジが最終的な品質を評価する。この「自己検証ループ」により、回答精度を大幅に向上させた。

Lat91でも、AIエージェントチームの構築においてこの考え方を取り入れている。作業者エージェントと検証者エージェントを分離し、重要な出力には品質チェックを挟む設計だ。RAGに限らず、AI出力の品質は「生成」ではなく「検証」の仕組みで決まる。

図2: 従来RAGとAgentic RAGのアーキテクチャ比較——自律的な再検索ループが精度を高める

実践ガイド——RAGの精度を上げる3つのツール活用法

活用法1: チャンキング戦略をLLMで最適化する

固定長チャンキング（500字ずつ分割）は最も簡単だが、最も精度が低い。代わりに、Claude APIやGPT-4oを使って「意味単位」でチャンキングする方法がある。

具体的には、ドキュメント全体をLLMに渡し「このドキュメントを意味的にまとまった単位に分割してください」と指示する。コストはかかるが、固定長と比較して検索精度が大幅に向上する。特に社内規程や契約書のように、条文間の参照関係が複雑なドキュメントで効果が高い。

活用法2: GraphRAGで関係性を保持する

Microsoftが提唱したGraphRAGは、ドキュメント間の関係性をナレッジグラフとして構造化する手法だ。通常のRAGではチャンク単位の検索しかできないが、GraphRAGは「このドキュメントはあのドキュメントと関連している」という構造的な情報を保持する。

社内の部署間で文書が連携している組織——たとえば営業マニュアルが製品仕様書を参照し、製品仕様書が品質基準を参照している——では、GraphRAGの方が通常のRAGより正確な回答を返せる。

活用法3: 評価ループを組み込む

RAGの回答品質を継続的に改善するには、ユーザーフィードバックの仕組みが不可欠だ。回答に「役に立った/立たなかった」のボタンを付けるだけでも、どのドキュメントの検索精度が低いか、どのチャンキングが不適切かが見えてくる。

DoorDashのように、LLMジャッジ（別のLLMが回答品質を自動評価する仕組み）を導入すれば、人手をかけずに品質モニタリングが可能になる。

「RAGはもう不要」という反論に向き合う

「コンテキストウィンドウが100万トークンを超えた今、RAGは不要では？」——この主張は一定の論拠がある（出典: 言語理解研究所, 2026）。

確かにClaudeやGeminiのコンテキスト長は急速に拡大している。100ページのドキュメントをそのまま入力できるなら、チャンキングもベクトル検索も不要に見える。

だが、この主張には2つの盲点がある。第一にコストだ。100万トークンを毎回送信するAPI費用は、RAGで必要な数千トークンの検索結果を渡すコストの数十倍になる。第二にレイテンシだ。大量のコンテキストを処理する時間は無視できない。リアルタイムの問い合わせ対応では、ユーザー体験が著しく劣化する。

RAGは不要にならない。ただし、RAGの役割は「LLMが知らないことを教える」から「LLMに効率的に情報を届ける」にシフトしつつある。コンテキスト長の拡大は、RAGを殺すのではなく、RAGの設計を変えるのだ。

今後の展望——RAGからAgentic RAGへの移行は必然

RAG市場は2030年に110億ドル規模になると予測されている。だがその頃には「RAG」という名称自体が使われなくなっている可能性がある。AIエージェントが情報検索を自律的に行う世界では、RAGはエージェントの「スキル」の一つとして統合される。

Lat91のAIエージェントチームでも、各エージェントが必要に応じて社内ドキュメントやWebを検索する。これは実質的にAgentic RAGそのものだ。情報収集、記事制作、レポート生成——すべてのエージェントが「検索 → 評価 → 再検索」のループを回している。

企業にとっての実務的な示唆は明確だ。RAGを「検索システム」として単体で導入するのではなく、AIエージェント基盤の一部として設計すること。そうすれば、RAG単体の限界を他のツールや人間のレビューで補完できる。

まとめ——RAGの限界を知ることが、RAGを活かす第一歩

RAGは強力な技術だが、万能ではない。チャンキングによる文脈の喪失、集計操作の不可能、データ品質への依存——これらの構造的限界を知らずに導入すれば、期待外れに終わる。

成果を出す企業は3つのことをしている。チャンキング設計にLLMを活用すること。GraphRAGで情報間の関係性を保持すること。評価ループで継続的に精度を改善すること。

そして、RAGの次のステージであるAgentic RAG——AIエージェントが検索プロセス自体を制御する仕組み——が、これらの限界を構造的に解決しつつある。RAGを活かすには、まずその限界を正直に認めることから始まる。

Lat91では、AIエージェントチームの構築を通じて、Agentic RAGを含む社内ナレッジ活用の設計・実装を支援しています。「社内データをAIに活用したいが、どこから手をつけるかわからない」——そんな段階からでもお気軽にご相談ください。