TMAP平台图生视频推理加速实践
TMAP 平台针对图生视频模型在工业落地中面临的显存占用高、推理延迟大及成本昂贵等瓶颈,通过与“淘宝法象”团队合作,在多卡并行、Attention 加速、量化加速及缓存加速等领域进行了深入实践与优化。具体而言,平台采用 Deepspeed Ulysses 序列并行并结合通信重叠优化以降低单条请求延迟;引入 SageAttention 算子并设计层间选择性量化方案,在保持视频质量无损的前提下显著降低 Attention 耗时;通过线性层 W8A8/W8A16 混合量化解决显存溢出问题并消除 CPU Offload 开销;同时自研基于动态规划与路径感知成本张量的 DPCache 缓存方案,实现了比 TeaCache 和 TaylorSeer 更优的全局最优调度与加速效果。最终,该实践在生成质量肉眼不可区分的前提下,实现了除多卡外4.87倍的推理加速,将单次推理成本压缩至低于0.15元/秒。
背景
随着 AIGC 技术的爆发式发展,图生视频(Image-to-Video, I2V) 已成为当前多媒体内容生成领域最具潜力的方向之一。越来越多的开源与商业模型涌现,极大地降低了视频内容创作的门槛。
然而,图生视频模型在实际落地过程中面临着显存占用高、推理延迟高、硬件成本昂贵等瓶颈。在工业界,推理速度直接决定用户体验与服务成本。如何在保证生成质量的前提下,显著提升推理吞吐、降低单次生成延迟,是每一个将图生视频模型推向生产环境的团队必须攻克的核心课题。
加速效果展示
加速效果展示
多卡通信优化
多卡通信优化
▐ 多卡介绍
▐ 多卡介绍
▐ 多卡介绍
▐ 多卡并行选型
▐ 多卡并行选型
▐ 多卡并行选型
我们服务的视频生成业务特点:
流量多为在线流量, 对堆积的容忍度较低;
同等质量下, 生成越快给用户的体感越好, 就越具有竞争力.
会结合多种加速策略
▐ 优化多卡并行
▐ 优化多卡并行
▐ 优化多卡并行
结合注意力量化算子 sageattention
选型时考虑了与注意力量化的结合, 由于 Ulysses 序列并行中注意力模块并行为 head 级并行, 全部 head 均分到各个设备上, 每张卡在序列维度完整, 这使得可以方便地接入高效注意力算子.
调整算子执行顺序掩盖通信
计算出本地的 q, k, v 后需要通过 all2all 通信传输后计算 attention, 在优化后期, all2all 的整体耗时已经接近 attn 2/3, 在分析 torch 的通信 api 后, 我们重构通信流程(如下图), 与前序计算尽量重叠.
▐ 效果
▐ 效果
▐ 效果
Attention 性能优化
▐ 背景
▐ 背景
▐ 背景
Module FLOP % Total---------------------------------------------- ---------- ---------Global 98142.200T 100.00%- aten.mm 4.742T 0.00%- aten.bmm 0.103T 0.00%- aten.convolution 1156.279T 1.18%- aten._scaled_dot_product_efficient_attention 11.607T 0.01%- aten.addmm 24575.255T 25.04%- aten._scaled_dot_product_flash_attention 72394.214T 73.76%
attention量化前后耗时分布对比
attention量化前后耗时分布对比
Flash-attention2算子在工程实现上已经没有显著提升空间, 进一步加速的思路就是降低计算量(稀疏)和降低数据宽度(量化). 在sageattention-1(24年底)提出之前, attention量化的开源方案只有flash-attention3. 但是FA3
不支持平台已有的计算卡架构, 而且sageattention论文提出FA3在视频生成模型上容易引入明显模糊.
▐ attention量化
▐ attention量化
▐ attention量化
通过追踪学术界和开源社区动态, 确定了将结合可以达到加速与视频质量平衡的 sageattention 算子作为加速方向.
保持视频质量
业务的要求是加速前后的视频在全局和关键细节都要保持一致, 虽然 sageattention 已经很好, 但既然是量化就不可能完全无损. 如下视频, 在业务早期的 cogvideox 模型上直接使用会有闪现马赛克的 badcase. 如下图表所示, 我们通过可视化 attention 误差, 发现部分 attention 层(如 layer_2)在所有降噪迭代中误差都明显偏大, 而大多数层误差很小(如 layer_1, layer_3, layer_4). 最终设计了层间选择性量化(每次迭代时部分 attn 层保持原精度)的方案, 平衡了生成视频速度和质量. 在 Wan 模型视频质量受量化的影响更小, self-attention 模块的 attention 量化全局开启.
优化算子细节
per-channel量化算子中的量化系数计算逻辑中(https://github.com/thu-ml/SageAttention/blob/d1a57a546c3d395b1ffcbeecc66d81db76f3b4b5/csrc/fused/fused.cu#L399), 如果某个 channel 数值全0会出现除0情况, 后续矩阵会出现 nan. 修复该逻辑后解决了业务 refiner 模型中生成黑屏视频的问题.
效果
量化后 attention 耗时降低到原1/3.