AI真人数字人语音对话性能优化实践总结
问题背景与现状
我们经过多组测试,得到平均的基线数据如下(人设提示词2万字+,每组10个会话):
端到端延迟(ASR结束到语音首次播放)平均 5.64 s,并且稳定性不佳; ASR 平均 2.28 s、LLM 首 Token 平均 2.26 s、TTS 平均 2.03 s,各阶段叠加造成明显"思考时间",用户体感明显"卡壳";
对于用户而言,最关心的是问完问题之后,多久能够得到数字人的回复。因此,我们核心需要优化ASR结束到最终数字人回答的耗时。在本文中,我们完整的总结了将AI数字人语音对话端到端链路延迟从5.64秒优化到1.32秒的完整方案与实战经验。
最终对话效果如下:
解决方案调研
在优化之前,我们先回顾一下目前 AI 数字人对话链路,它通常采用 ASR → LLM → TTS & A2BS 的三段式串行结构:
这种架构的痛点在于:每个环节都必须等待上一个环节完全结束(或至少积累一定 buffer)才能开始,导致延迟逐级叠加。针对这个"5 s 以上首句延迟"的痛点,我们在多个方向和不同阶段做过可行性评估:
ASR(语音转文字)优化:若直接换成"一体模型(Audio2Audio)"可减去单独的ASR环节,但会丢字幕需求,因此保留 ASR/VAD。 LLM(大模型回复)优化:尝试对比 Qwen-Max / Omni / Plus,多维度实验确认 Omni TTFT 具备明显优势。或者也可以使用小模型快速返回,再大模型完整回答。 TTS(文本转语音)优化:实验 1s chunk、端上缓存等手段, 或使用 Omni 音频,无需单独 TTS。 A2BS(语音转口型)优化:原本速度已经较快,但需要设置合适的整段调用;若能窗口化即可同步嘴型。 通信优化:把多个服务 ASR、TTS 和 LLM 等都统一到同一台服务器,降低服务直接调用成本。
不同方案对比:
原始的导购对话流程,基线数据的链路是"ASR → LLM → TTS & A2BS"的三段式结构:ASR 识别结束后发起文本请求,获取请求之后,当达到一定的标点符号截断,才会调用 TTS和面部动画生成,回传结果之后,再播放音频和面部动画。采用Qwen Omni,可以Audio到Audio,减少中间环节。
而因为字幕原因,最终我们使用的是 Qwen Omni的Text→Audio/Text模式,让 LLM 直接流式返回音频和文字,端上再负责补建嘴型、同步播放功能。所以新的链路结构为"ASR->LLM->Text/Audio->A2BS"。
性能监控系统设计
在实施优化前,我们首先完善了性能监控体系,确保每一步改动都有数据支撑。这是本次优化的关键基础设施。
▐ 3.1 设计目标
- 全链路覆盖:从 VAD 启动到面部表情播放,覆盖所有关键节点
- 线程安全:支持多线程并发打点,不影响主业务逻辑
高精度时间戳:基于 std::chrono::high_resolution_clock 提供毫秒级精度
- 多维度输出:支持实时日志、JSON 文件、CSV 导出、统计报表
- 易于扩展:新增事件类型只需修改枚举和映射函数
▐ 3.2 核心类设计
▐ 3.3 事件类型设计
基础链路事件
enum class EventType { ASR_START, // VAD 检测到语音开始 ASR_END, // ASR 识别完成 LLM_REQUEST_START, // LLM 请求发起 LLM_FIRST_TOKEN, // LLM 首个 token 返回 LLM_COMPLETE, // LLM 流式完成 TTS_REQUEST_START, // TTS 请求开始(每个 chunk) TTS_RESPONSE, // TTS 响应返回 AUDIO_PLAY_START, // 音频开始播放 ANIMATION_START, // 表情动画开始Omni 事件
Omni_STREAM_START, // Omni 流式开始Omni_FIRST_AUDIO_CHUNK, // 首个音频 chunk 到达Omni_AUDIO_CHUNK, // 音频 chunk(每个)Omni_STREAM_COMPLETE, // 流式完成Omni_STREAM_ERROR, // 流式错误// A2BS 窗口化相关Omni_AUDIO_WINDOW_SEALED, // 音频窗口封存Omni_A2BS_FACIAL_START, // A2BS 请求开始Omni_A2BS_FACIAL_RESPONSE,// A2BS 响应返回Omni_A2BS_FACIAL_PLAY_START, // 首次嘴型播放Omni_AUDIO_WINDOW_PLAY, // 窗口音频播放Omni_FACIAL_START, // 面部数据生成开始Omni_FACIAL_COMPLETE, // 面部数据生成完成Omni_FACIAL_ERROR // 面部数据生成失败...};
▐ 3.4 关键指标定义
基础指标
Omni 指标
▐ 3.5 数据结构设计
// 单次请求的性能数据struct RequestPerformance {int64_t requestId;std::string inputType; // "voice" or "text"std::vector<std::pair<EventType, int64_t>> timeline;std::map<EventType, std::string> metadata;// 计算后的指标int64_t asr_duration_ms;int64_t llm_ttft_ms;int64_t llm_total_ms;int64_t end_to_end_ms;int64_t end_to_end_bs_ms;int64_t Omni_first_audio_ms;int64_t tts_avg_ms;int32_t tts_count;};// 全局统计数据struct PerformanceStatistics {int32_t total_requests;// 均值/最大/最小double avg_asr_ms, max_asr_ms, min_asr_ms;double avg_llm_ttft_ms, max_llm_ttft_ms, min_llm_ttft_ms;double avg_end_to_end_ms, max_end_to_end_ms, min_end_to_end_ms;// P95/P99,反映稳定性double p95_end_to_end_ms, p99_end_to_end_ms;double p95_llm_ttft_ms, p99_llm_ttft_ms;double p95_Omni_first_audio_ms, p99_Omni_first_audio_ms;double p95_end_to_end_bs_ms, p99_end_to_end_bs_ms;// Omni 统计double avg_Omni_first_audio_ms;double min_Omni_first_audio_ms;double max_Omni_first_audio_ms;double avg_end_to_end_bs_ms;double min_end_to_end_bs_ms;double max_end_to_end_bs_ms;};
▐ 3.6 实现要点
线程安全
使用
std::mutex m_Mutex:保护共享资源 std::lock_guardstd::mutex lock(m_Mutex);:RAII 方式自动上锁/解锁,防止死锁或遗漏释放
class PerformanceMonitor {