用户对语音 AI 的容忍极限是 800ms。超过这个数,体验就崩了。
Voice Agent 是让 AI 用语音实时对话的工程体系:从音频采集、语音识别、LLM 推理到语音合成,全链路必须在亚秒内完成。本文拆解 OpenAI Realtime API、LiveKit、Pipecat 三大方案的架构与工程细节。
项目地址:https://github.com/pipecat-ai/pipecat
为什么语音 Agent 这么难
文字聊天,用户等 3 秒不会抱怨。语音对话,超过 1 秒的沉默就让人觉得"它死了"。
人类正常对话的轮转间隔是 200-500ms。你的语音 Agent 如果响应超过 800ms,用户就会开始重复、打断、挂断。
这意味着整条链路的延迟预算极其紧张:
| 环节 | 延迟预算 | 传统方案耗时 |
|---|---|---|
| 音频采集 + VAD | 50ms | 100-200ms |
| 语音识别(STT) | 150ms | 500-2000ms |
| LLM 推理 | 300ms | 1000-5000ms |
| 语音合成(TTS) | 100ms | 300-1000ms |
| 音频播放缓冲 | 50ms | 100-200ms |
| 总计 | < 800ms | 2000-10000ms |
传统级联方案(STT → LLM → TTS)根本做不到亚秒级。 这就是为什么 2025-2026 年出现了一批全新的架构方案。
三大技术路线
路线一:端到端语音模型(OpenAI Realtime API)
OpenAI 在 2024 年底发布的 Realtime API 走了一条激进的路:跳过 STT 和 TTS,模型直接处理音频 Token。
输入是原始音频流,输出也是原始音频流。没有中间的文本转换步骤。
## OpenAI Realtime API 基本用法
import openai
import asyncio
client = openai.AsyncOpenAI()
async def voice_agent():
async with client.beta.realtime.connect(
model="gpt-4o-realtime-preview"
) as rt:
## 配置 Agent 行为
await rt.session.update(
session={
"modalities": ["text", "audio"],
"instructions": "你是一个友好的客服助手,语速适中。",
"voice": "alloy",
"input_audio_transcription": {"model": "whisper-1"},
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"silence_duration_ms": 500,
},
}
)
## 流式接收音频响应
async for event in rt:
if event.type == "response.audio.delta":
play_audio(event.delta)# 直接播放
延迟:首字节 < 300ms。 因为省掉了 STT/TTS 两个环节,端到端延迟直接砍半。
代价:模型选择少(目前只有 OpenAI 自家)、成本较高、不能灵活替换 LLM。
路线二:媒体服务器 + 模块化管道(LiveKit)
LiveKit 是 WebRTC 基础设施公司,它的 Agents 框架把语音 Agent 拆成可插拔模块:
- STT 插件:Deepgram、Whisper、Azure Speech
- LLM 插件:OpenAI、Anthropic、本地模型
- TTS 插件:ElevenLabs、Azure、Cartesia
## LiveKit Agents 框架
from livekit.agents import Agent, AgentSession
from livekit.plugins import openai, deepgram, elevenlabs
class MyVoiceAgent(Agent):
def __init__(self):
super().__init__(
stt=deepgram.STT(model="nova-2"),
llm=openai.LLM(model="gpt-…