AI真人数字人语音对话性能优化实践总结




本文总结了为解决 AI 数字人导购对话中的回答延迟感而进行的性能优化实践。初始的对话链路因 ASR、LLM 和 TTS 的串行叠加,导致平均端到端延迟高达 5.64 秒。为实现数据驱动的优化,首先搭建了一套覆盖全链路的高精度性能监控体系作为基础。核心解决方案是集成 Qwen Omni 一体化模型,旨在通过流式传输音频和文本来减少中间环节,同时在客户端设计了音频窗口缓冲机制以确保嘴型同步。最终,通过采用 ASR 后的文本输入 Omni 的优化方案,系统的平均端到端延迟从 5644 毫秒成功降至 1323 毫秒,取得了 76.6% 的显著提升,并大幅改善了系统的稳定性。

问题背景与现状


在VisionPro 淘宝旗舰店中,你可以与一个逼真的真人AI数字人进行对话,他可以为你解答店铺的问题、商品的问题等等,能带来更好的互动体验和全新的智能购物感受。但是,在之前与AI数字人导购聊天的过程中,交互提示词在2万字以上的情况下,会有明显的回答延迟感。

我们经过多组测试,得到平均的基线数据如下(人设提示词2万字+,每组10个会话):

  • 端到端延迟(ASR结束到语音首次播放)平均 5.64 s,并且稳定性不佳;
  • ASR 平均 2.28 s、LLM 首 Token 平均 2.26 s、TTS 平均 2.03 s,各阶段叠加造成明显"思考时间",用户体感明显"卡壳";

对于用户而言,最关心的是问完问题之后,多久能够得到数字人的回复。因此,我们核心需要优化ASR结束到最终数字人回答的耗时。在本文中,我们完整的总结了将AI数字人语音对话端到端链路延迟从5.64秒优化到1.32秒的完整方案与实战经验。


最终对话效果如下:


解决方案调研


在优化之前,我们先回顾一下目前 AI 数字人对话链路,它通常采用 ASR → LLM → TTS & A2BS 的三段式串行结构:


这种架构的痛点在于:每个环节都必须等待上一个环节完全结束(或至少积累一定 buffer)才能开始,导致延迟逐级叠加。针对这个"5 s 以上首句延迟"的痛点,我们在多个方向和不同阶段做过可行性评估:

  • ASR(语音转文字)优化:若直接换成"一体模型(Audio2Audio)"可减去单独的ASR环节,但会丢字幕需求,因此保留 ASR/VAD。
  • LLM(大模型回复)优化:尝试对比 Qwen-Max / Omni / Plus,多维度实验确认 Omni TTFT 具备明显优势。或者也可以使用小模型快速返回,再大模型完整回答。
  • TTS(文本转语音)优化:实验 1s chunk、端上缓存等手段, 或使用 Omni 音频,无需单独 TTS。
  • A2BS(语音转口型)优化:原本速度已经较快,但需要设置合适的整段调用;若能窗口化即可同步嘴型。
  • 通信优化:把多个服务 ASR、TTS 和 LLM 等都统一到同一台服务器,降低服务直接调用成本。


不同方案对比:


原始的导购对话流程,基线数据的链路是"ASR → LLM → TTS & A2BS"的三段式结构:ASR 识别结束后发起文本请求,获取请求之后,当达到一定的标点符号截断,才会调用 TTS和面部动画生成,回传结果之后,再播放音频和面部动画。采用Qwen Omni,可以Audio到Audio,减少中间环节。


而因为字幕原因,最终我们使用的是 Qwen Omni的Text→Audio/Text模式,让 LLM 直接流式返回音频和文字,端上再负责补建嘴型、同步播放功能。所以新的链路结构为"ASR->LLM->Text/Audio->A2BS"。


性能监控系统设计


在实施优化前,我们首先完善了性能监控体系,确保每一步改动都有数据支撑。这是本次优化的关键基础设施。


▐  3.1 设计目标


  • 全链路覆盖:从 VAD 启动到面部表情播放,覆盖所有关键节点
  • 线程安全:支持多线程并发打点,不影响主业务逻辑
  • 高精度时间戳:基于 std::chrono::high_resolution_clock 提供毫秒级精度
  • 多维度输出:支持实时日志、JSON 文件、CSV 导出、统计报表
  • 易于扩展:新增事件类型只需修改枚举和映射函数


▐  3.2 核心类设计



▐  3.3 事件类型设计


基础链路事件

enum class EventType {    ASR_START,                 // VAD 检测到语音开始    ASR_END,                   // ASR 识别完成    LLM_REQUEST_START,         // LLM 请求发起    LLM_FIRST_TOKEN,           // LLM 首个 token 返回    LLM_COMPLETE,              // LLM 流式完成    TTS_REQUEST_START,         // TTS 请求开始(每个 chunk)    TTS_RESPONSE,              // TTS 响应返回    AUDIO_PLAY_START,          // 音频开始播放    ANIMATION_START,           // 表情动画开始

Omni 事件

Omni_STREAM_START,        // Omni 流式开始    Omni_FIRST_AUDIO_CHUNK,   // 首个音频 chunk 到达    Omni_AUDIO_CHUNK,         // 音频 chunk(每个)    Omni_STREAM_COMPLETE,     // 流式完成    Omni_STREAM_ERROR,        // 流式错误
    // A2BS 窗口化相关    Omni_AUDIO_WINDOW_SEALED, // 音频窗口封存    Omni_A2BS_FACIAL_START,   // A2BS 请求开始    Omni_A2BS_FACIAL_RESPONSE,// A2BS 响应返回    Omni_A2BS_FACIAL_PLAY_START, // 首次嘴型播放    Omni_AUDIO_WINDOW_PLAY,   // 窗口音频播放
    Omni_FACIAL_START,        // 面部数据生成开始    Omni_FACIAL_COMPLETE,     // 面部数据生成完成    Omni_FACIAL_ERROR         // 面部数据生成失败
    ...};


▐  3.4 关键指标定义


基础指标


Omni 指标


▐  3.5 数据结构设计


// 单次请求的性能数据struct RequestPerformance {    int64_t requestId;    std::string inputType; // "voice" or "text"    std::vector<std::pair<EventType, int64_t>> timeline;    std::map<EventType, std::string> metadata;
    // 计算后的指标    int64_t asr_duration_ms;    int64_t llm_ttft_ms;    int64_t llm_total_ms;    int64_t end_to_end_ms;    int64_t end_to_end_bs_ms;    int64_t Omni_first_audio_ms;    int64_t tts_avg_ms;    int32_t tts_count;};// 全局统计数据struct PerformanceStatistics {    int32_t total_requests;
    // 均值/最大/最小    double avg_asr_ms, max_asr_ms, min_asr_ms;    double avg_llm_ttft_ms, max_llm_ttft_ms, min_llm_ttft_ms;    double avg_end_to_end_ms, max_end_to_end_ms, min_end_to_end_ms;
    // P95/P99,反映稳定性    double p95_end_to_end_ms, p99_end_to_end_ms;    double p95_llm_ttft_ms, p99_llm_ttft_ms;    double p95_Omni_first_audio_ms, p99_Omni_first_audio_ms;    double p95_end_to_end_bs_ms, p99_end_to_end_bs_ms;
    // Omni 统计    double avg_Omni_first_audio_ms;    double min_Omni_first_audio_ms;    double max_Omni_first_audio_ms;    double avg_end_to_end_bs_ms;    double min_end_to_end_bs_ms;    double max_end_to_end_bs_ms;};


▐  3.6 实现要点


线程安全

使用

  • std::mutex m_Mutex:保护共享资源
  • std::lock_guardstd::mutex lock(m_Mutex);:RAII 方式自动上锁/解锁,防止死锁或遗漏释放
class PerformanceMonitor {
— 以上为试看内容(约 40%),开通会员后阅读全文 —