RAG / ベクトル検索 Deep Dive
LLMの限界を超える「検索拡張生成」を10章で徹底解剖。Embeddingsの原理、ANNアルゴリズム、pgvector実践、Advanced RAG（GraphRAG・Contextual Retrieval）、評価・運用まで2026年時点の最新知見を網羅
目次
- 第1章 第1章: RAGとは何か — LLMの限界と検索拡張の本質 LLMの3つの限界（知識カットオフ・ハルシネーション・出典不提示）、パラメトリック vs ノンパラメトリック記憶、RAGが解く問題、Long-context LLM・Fine-tuningとの使い分け判断フレーム→
- 第2章 第2章: RAGの歴史 — TF-IDFからContextual Retrievalまで TF-IDF(1972)からBM25、Word2Vec、BERT、DPR/RAG論文(2020)、LangChain爆発、GraphRAG・Contextual Retrievalまで、50年の検索技術と生成AIが合流する道のり→
- 第3章 第3章: Embeddings の原理 — 意味をベクトルで表現する Dense/Sparse、コサイン類似度 vs 内積 vs L2、次元の呪い、Matryoshka表現、MTEB/JMTEB、日本語モデル選定（ruri-v3・BGE-M3・Sarashina・multilingual-e5）→
- 第4章 第4章: ベクトル検索の心臓部 — ANNアルゴリズム徹底理解 厳密kNN vs ANN、LSH・IVF・PQ・HNSW・DiskANNの仕組み、HNSWパラメータ実例（M/ef_construction/ef_search）、Recall-Latencyトレードオフ、ベンチマーク数値→
- 第5章 第5章: ベクトルDB比較 — pgvectorを本番で運用する pgvector vs Pinecone/Qdrant/Weaviate/Milvus比較、pgvector 0.8新機能（iterative scan・halfvec・binary量子化）、HNSWチューニング実例、pgvectorscale→
- 第6章 第6章: RAGパイプライン設計 — Naive → Advanced → Modular Gao et al.サーベイの3パラダイム、Chunking戦略全種（Fixed/Recursive/Semantic/Contextual）、Query変換（HyDE/Multi-query/Step-back）、モジュラーRAGの組み立て→
- 第7章 第7章: ハイブリッド検索とRerank — 精度を極限まで上げる BM25 + Dense の相補性、RRF（k=60）の魔法、Cross-encoder vs Bi-encoder、Anthropic Contextual Retrieval（失敗率-67%）、日本語形態素解析（Sudachi）の役割→
- 第8章 第8章: RAG評価 — Ragas・合成データ・LLM-as-Judge Faithfulness/Context Precision・Recall/Answer Relevance、Ragas・ARES・TruLens・DeepEval・Phoenix、評価データセット構築、JQaRA/JaCWIR、「評価なし本番投入」という最大の罠→
- 第9章 第9章: Advanced RAG — GraphRAG・Self-RAG・Agentic RAG Parent-Child/Sentence-Window/Auto-merging、Microsoft GraphRAG（Leidenコミュニティ検出）、LightRAG（トークン6000倍効率化）、Self-RAG/CRAG、Agentic RAG（LangGraph）→
- 第10章 第10章: 本番運用とこれから — 実装スタック・事例・2026年以降 推奨スタック（LlamaIndex + pgvector + Reranker）、事例（Perplexity/Morgan Stanley/Klarna/Harvey/日本企業）、Long-context vs RAG論争、Multimodal RAG、MCP連携、学習ロードマップ→