パイプライン vs エンドツーエンド — Voice AIアーキテクチャの二大潮流

Voice AIエージェントの時代

2025年以降、音声で対話するAIエージェントが急速に普及しています。 カスタマーサポート、営業アシスタント、ヘルスケアコンシェルジュなど、 Voice AIの適用範囲は広がる一方です。 しかし、その裏側のアーキテクチャには大きく分けて2つのアプローチがあります。

パイプライン型（STT→LLM→TTS）とエンドツーエンド型（音声直接処理）です。 本記事では、それぞれの仕組み・特性・トレードオフを徹底比較し、ユースケースに応じた選定指針を解説します。

パイプライン型アーキテクチャ

パイプライン型は、音声対話を3つの独立したコンポーネントに分割して処理するアーキテクチャです。 従来のVoice AIのデファクトスタンダードであり、現在も多くのプロダクションシステムで採用されています。

graph LR
  A[ユーザー音声] --> B[STT<br/>音声→テキスト]
  B --> C[LLM<br/>テキスト推論]
  C --> D[TTS<br/>テキスト→音声]
  D --> E[応答音声]
  style B fill:#3b82f6,stroke:#2563eb,color:#fff
  style C fill:#8b5cf6,stroke:#7c3aed,color:#fff
  style D fill:#f97316,stroke:#ea580c,color:#fff

各コンポーネントの役割

パイプライン型では、以下の3つのコンポーネントがそれぞれ独立した専門タスクを担います。

• STT（Speech-to-Text）: ユーザーの音声をテキストに変換します。 Whisper、Deepgram、Google Cloud Speech-to-Textなどが代表的なエンジンです。 VAD（Voice Activity Detection）による発話区間検出や、ストリーミング認識による逐次テキスト化が可能です。
• LLM（Large Language Model）: テキスト化された入力をもとに、応答テキストを生成します。 ここでは通常のテキストベースLLM（GPT-4o、Claude、Gemini等）がそのまま使えるため、 プロンプトエンジニアリングやRAG、Function Callingなど既存のテキストLLMエコシステムをフル活用できます。
• TTS（Text-to-Speech）: LLMが生成したテキストを音声に変換します。 ElevenLabs、OpenAI TTS、Google Cloud TTSなどが利用されます。 感情表現やSSML（Speech Synthesis Markup Language）による細かな制御が可能です。

レイテンシの課題

パイプライン型の最大の課題はレイテンシです。 STT（300〜800ms）→ LLM推論（500〜2000ms）→ TTS（200〜500ms）と各段階のレイテンシが積み重なり、 合計で1〜3秒以上の応答遅延が発生することがあります。 人間の自然な会話のターンテイキングが200〜500ms程度であることを考えると、 この遅延はユーザー体験に大きな影響を与えます。

ただし、ストリーミング処理（STTの部分結果をLLMに順次渡す、LLMのストリーミング出力をTTSに逐次入力する等）や、 先読み推論などのテクニックでレイテンシを500ms〜1秒程度まで圧縮する実装も増えています。

エンドツーエンド型アーキテクチャ

エンドツーエンド（E2E）型は、音声入力を直接受け取り、音声出力を直接生成するアーキテクチャです。 テキストへの中間変換を経由しないため、パイプライン型の持つ情報損失とレイテンシの積み上がりを根本的に解消します。

graph LR
  A[ユーザー音声] --> B[マルチモーダルモデル<br/>音声→音声]
  B --> C[応答音声]
  style B fill:#10b981,stroke:#059669,color:#fff

代表的なE2Eモデル・API

E2E型Voice AIの代表的な実装として、以下のサービスが挙げられます。

• OpenAI GPT-4o Realtime API: 音声を直接入力し、音声をネイティブに生成するマルチモーダルAPI。 WebSocketベースのストリーミング接続で、割り込み（interruption）やVADもモデル側で処理します。 音声の感情やトーンを理解し、応答にも反映できるのが大きな特徴です。
• Google Gemini Live API: Geminiモデルを通じたリアルタイム音声対話API。 音声・映像・テキストのマルチモーダル入力に対応し、ストリーミング双方向通信を実現します。 サーバーVADとクライアントVADの両方をサポートしています。
• Sesame CSM（Conversational Speech Model）: 2025年3月に発表されたオープンソースのSpeech-to-Speechモデル。 テキスト中間表現を一切使わず、音声から直接音声を生成します。 発話の韻律やリズム、ためらいなどの非言語的要素を自然に再現できるのが特徴です。

E2E型のメリット

E2E型の最大のメリットは、音声の非言語情報を保持できることです。 パイプライン型ではSTTでテキスト化する際に、声のトーン、抑揚、間（ま）、感情といった 音声固有の情報が失われます。E2E型ではこれらの情報がモデル内部で直接処理されるため、 より自然で文脈に即した応答が生成可能です。

また、中間変換のステップが不要なため、理論上のレイテンシは大幅に低くなります。 GPT-4o Realtime APIでは300ms以下の応答速度を実現するケースもあり、 人間同士の会話に近いテンポでの対話が可能になりつつあります。

両者のトレードオフ比較

パイプライン型とE2E型は「どちらが優れている」という単純な関係ではなく、 それぞれに明確なトレードオフがあります。

ハイブリッドアプローチ

実運用では、パイプライン型とE2E型の長所を組み合わせたハイブリッドアプローチも注目されています。 すべてを一方のアーキテクチャに統一するのではなく、処理段階ごとに最適な方式を選択する設計です。

graph LR
  A[ユーザー音声] --> B[E2Eモデル<br/>音声理解]
  B --> C[テキスト意図]
  C --> D[LLM<br/>推論・制御]
  D --> E[専用TTS<br/>ブランドボイス]
  E --> F[応答音声]
  style B fill:#10b981,stroke:#059669,color:#fff
  style D fill:#8b5cf6,stroke:#7c3aed,color:#fff
  style E fill:#f97316,stroke:#ea580c,color:#fff

代表的なハイブリッドパターンには以下があります。

• E2E音声理解 + テキストLLM + 専用TTS: 音声の理解にはE2Eモデルの強みを活かしつつ、 推論はテキストLLMで行い、音声合成はブランドボイスを持つ専用TTSで生成します。 企業のカスタマーサポートなど、応答品質と一貫したブランド体験が求められるケースで有効です。
• パイプライン + E2Eフォールバック: 通常はパイプライン型で処理し、 レイテンシが厳しい場面やカジュアルな対話ではE2E型に切り替えます。
• 並列処理: STTとE2Eモデルを並列で動かし、STTの結果でガードレールチェックを行いつつ、 E2Eモデルの音声出力を使うという二重構成も研究されています。

Speech-to-Speechモデルの最新動向

E2E型の進化は、2025年に入って加速しています。 特に注目すべき動向をいくつか紹介します。

Sesame CSM

Sesame社が2025年3月にオープンソースで公開したCSM（Conversational Speech Model）は、 テキストを一切介さずに音声から音声を直接生成するモデルです。 Llama-3.2-1Bをバックボーンに使い、セマンティックトークンとアコースティックトークンを 2段階のTransformerで生成するアーキテクチャが特徴です。

CSMが示した最も重要な成果は、会話的な韻律の自然さです。 相づち、ためらい、笑い、間の取り方といった、 従来のTTSでは再現困難だった会話特有の非言語要素を自然に生成できることを実証しました。

音声トークンの標準化

Moshi（Kyutai）やSpiritLM（Meta）など、音声をトークン化してLLMで処理するアプローチが増えています。 テキストトークンと音声トークンを統一的に扱うことで、マルチモーダルな推論が可能になります。 この流れが進めば、「音声を理解する」と「テキストを理解する」の境界がさらに曖昧になっていくでしょう。

エッジ推論の進展

小型モデルをデバイス上で直接動作させるエッジ推論も進んでいます。 クラウドへの往復通信を省くことで、さらなる低レイテンシを実現できるほか、 プライバシー要件が厳しいヘルスケアや金融領域でも活用が期待されています。

ユースケース別の選定指針

最後に、代表的なユースケースに対して、どのアーキテクチャが適しているかの指針をまとめます。

まとめ

Voice AIのアーキテクチャは、パイプライン型からE2E型へと一方的に移行するのではなく、 ユースケースと要件に応じて最適なアプローチを選択する時代に入っています。

パイプライン型は「枯れた技術の組み合わせ」として信頼性が高く、 各コンポーネントの独立性がもたらす制御性とデバッグ容易性は依然として大きな価値があります。 一方、E2E型は音声AIの「体験の質」を次のレベルに引き上げる可能性を秘めています。

重要なのは、アーキテクチャの選択は一度きりの意思決定ではないということです。 モデルの進化、コストの変化、新しいAPIの登場に合わせて、継続的に評価・改善していく姿勢が求められます。