第3章: Embeddings の原理 — 意味をベクトルで表現する

Embeddingとは — 意味を座標に変換する

Embedding（埋め込み）とは、テキスト・画像・音声などの離散的な対象を、 数百〜数千次元の連続ベクトル空間に写像する操作です。 RAGで中心的に扱うのはテキスト埋め込みで、文や段落を1本の固定長ベクトルに変換します。

埋め込みモデルは「意味的に近いものはベクトル空間でも近くに配置される」ように学習されます。 たとえば「犬」「わんこ」「ワンちゃん」は、表記が違っても似たベクトルになります。 一方「犬」と「銀行」は遠く離れたベクトルになります。この距離を類似度として使うのが、ベクトル検索の根本原理です。

Dense vs Sparse — 密ベクトルと疎ベクトルの違い

埋め込みには大きく2種類あります。RAGを正しく設計するには、この違いを理解することが決定的に重要です。

現代のRAGは両者を組み合わせるハイブリッド検索が標準です（第7章で詳説）。 Denseだけだと「GPT-4o」のような固有名詞が「AI全般」に引き寄せられ、Sparseだけだと「バグを直す」と「欠陥を修正する」が別物になります。 両方の弱点を相互に補う構成が、実務での精度を大きく引き上げます。

類似度指標 — コサイン vs 内積 vs L2

2つのベクトルがどれくらい「近い」かを測る指標は複数あり、用途と埋め込みモデルに応じた選択が必要です。

graph LR
  subgraph A[2次元の例]
    direction TB
    V1[ベクトルA]
    V2[ベクトルB]
    V3[ベクトルC]
  end
  A -.ほぼ同じ方向.-> B[高いコサイン類似度]
  A -.近い距離.-> C[低いL2距離]
  style B fill:#14b8a6,stroke:#0d9488,color:#fff
  style C fill:#8b5cf6,stroke:#6d28d9,color:#fff

次元の呪い — 高次元空間の直感に反する性質

埋め込みベクトルは数百〜数千次元という高次元空間に存在します。 この高次元性は、低次元の直感が通用しない奇妙な振る舞いを引き起こします。

• 次元が増えると、ランダムな2点間の距離が「ほぼ同じ」になり、距離のコントラストが失われる
• 空間の体積の大部分が「表面近く」に集中する（球体の体積が表面付近に偏る）
• ユークリッド距離が意味を失いやすく、コサイン類似度が好まれる理由の一つ

対策として、むやみに次元数を増やさないこと、そしてMatryoshka Representation Learningのように次元を切り詰めても性能が保たれるモデルを使うことが有効です。 OpenAIの text-embedding-3 シリーズは、3072次元を256次元に切り詰めてもコサ性能が保たれるMatryoshka対応です。

検索の評価指標 — Recall@k・nDCG・MRR

「良い埋め込み」とは、クエリに対して関連文書を高い順位で返せる埋め込みです。これを測る指標が複数あります。

MTEB / JMTEB — 埋め込みモデルの標準ベンチマーク

どの埋め込みモデルが良いかを比較する共通ベンチマークがMTEB（Massive Text Embedding Benchmark）です。 Hugging Faceが運営し、100以上のデータセットで検索・分類・クラスタリング・STSなど8タスクを評価します。 MTEB Leaderboard でリアルタイムに最新スコアを確認できます。

日本語版としてJMTEBがあり、SB Intuitionsが整備しています。 28データセット × 5タスク（Classification/Clustering/STS/Retrieval/Reranking）で日本語埋め込みを評価でき、 日本語RAGを作るなら必ず参照すべきベンチマークです。

日本語RAGの2026年推奨モデル

日本語埋め込みモデルは2025〜2026年にかけて劇的に進化しました。 特に注目すべきは、Ruri-v3（cl-nagoya、ModernBERTベース）とSarashina-Embedding-v2（SB Intuitions、LLMベース）です。

実装例 — OpenAIとRuri-v3で埋め込みを生成する

実際の埋め込み生成は驚くほど簡単です。以下はVercel AI SDK（TypeScript）とsentence-transformers（Python）の例です。

// Vercel AI SDK + OpenAI
import { openai } from '@ai-sdk/openai';
import { embed, embedMany } from 'ai';

// 単一テキストを埋め込み
const { embedding } = await embed({
  model: openai.embedding('text-embedding-3-small'),
  value: '返品ポリシーについて教えてください',
});
// embedding は number[1536]

// 複数を一括（バッチでレート制限回避）
const { embeddings } = await embedMany({
  model: openai.embedding('text-embedding-3-small'),
  values: chunks.map(c => c.content),
});

# Ruri-v3をローカルで使う（日本語RAG向け）
from sentence_transformers import SentenceTransformer

model = SentenceTransformer('cl-nagoya/ruri-v3-310m')

# Ruri-v3は "検索クエリ: " / "検索文書: " プレフィックス推奨
queries = ['検索クエリ: 返品ポリシーは？']
docs = ['検索文書: 商品到着後30日以内なら返品可能です。']

query_emb = model.encode(queries, normalize_embeddings=True)
doc_emb = model.encode(docs, normalize_embeddings=True)

# コサイン類似度（正規化済みなので内積と等価）
similarity = (query_emb @ doc_emb.T).item()

次章では、埋め込みベクトルから高速に「近いK件」を取り出すANNアルゴリズムの内部構造を深掘りします。 HNSWがなぜ速いのか、パラメータ（M、ef_construction、ef_search）をどう設定すべきか、図解で理解していきましょう。