RAG / ベクトル検索 Deep Dive
LLMの限界を超える「検索拡張生成」を10章で徹底解剖。Embeddingsの原理、ANNアルゴリズム、pgvector実践、Advanced RAG（GraphRAG・Contextual Retrieval）、評価・運用まで2026年時点の最新知見を網羅
目次
- 第1章第1章: RAGとは何か — LLMの限界と検索拡張の本質LLMの3つの限界（知識カットオフ・ハルシネーション・出典不提示）、パラメトリック vs ノンパラメトリック記憶、RAGが解く問題、Long-context LLM・Fine-tuningとの使い分け判断フレーム→
- 第2章第2章: RAGの歴史 — TF-IDFからContextual RetrievalまでTF-IDF(1972)からBM25、Word2Vec、BERT、DPR/RAG論文(2020)、LangChain爆発、GraphRAG・Contextual Retrievalまで、50年の検索技術と生成AIが合流する道のり→
- 第3章第3章: Embeddings の原理 — 意味をベクトルで表現するDense/Sparse、コサイン類似度 vs 内積 vs L2、次元の呪い、Matryoshka表現、MTEB/JMTEB、日本語モデル選定（ruri-v3・BGE-M3・Sarashina・multilingual-e5）→
- 第4章第4章: ベクトル検索の心臓部 — ANNアルゴリズム徹底理解厳密kNN vs ANN、LSH・IVF・PQ・HNSW・DiskANNの仕組み、HNSWパラメータ実例（M/ef_construction/ef_search）、Recall-Latencyトレードオフ、ベンチマーク数値→
- 第5章第5章: ベクトルDB比較 — pgvectorを本番で運用するpgvector vs Pinecone/Qdrant/Weaviate/Milvus比較、pgvector 0.8新機能（iterative scan・halfvec・binary量子化）、HNSWチューニング実例、pgvectorscale→
- 第6章第6章: RAGパイプライン設計 — Naive → Advanced → ModularGao et al.サーベイの3パラダイム、Chunking戦略全種（Fixed/Recursive/Semantic/Contextual）、Query変換（HyDE/Multi-query/Step-back）、モジュラーRAGの組み立て→
- 第7章第7章: ハイブリッド検索とRerank — 精度を極限まで上げるBM25 + Dense の相補性、RRF（k=60）の魔法、Cross-encoder vs Bi-encoder、Anthropic Contextual Retrieval（失敗率-67%）、日本語形態素解析（Sudachi）の役割→
- 第8章第8章: RAG評価 — Ragas・合成データ・LLM-as-JudgeFaithfulness/Context Precision・Recall/Answer Relevance、Ragas・ARES・TruLens・DeepEval・Phoenix、評価データセット構築、JQaRA/JaCWIR、「評価なし本番投入」という最大の罠→
- 第9章第9章: Advanced RAG — GraphRAG・Self-RAG・Agentic RAGParent-Child/Sentence-Window/Auto-merging、Microsoft GraphRAG（Leidenコミュニティ検出）、LightRAG（トークン6000倍効率化）、Self-RAG/CRAG、Agentic RAG（LangGraph）→
- 第10章第10章: 本番運用とこれから — 実装スタック・事例・2026年以降推奨スタック（LlamaIndex + pgvector + Reranker）、事例（Perplexity/Morgan Stanley/Klarna/Harvey/日本企業）、Long-context vs RAG論争、Multimodal RAG、MCP連携、学習ロードマップ→