TMAP平台图生视频推理加速实践




TMAP 平台针对图生视频模型在工业落地中面临的显存占用高、推理延迟大及成本昂贵等瓶颈,通过与“淘宝法象”团队合作,在多卡并行、Attention 加速、量化加速及缓存加速等领域进行了深入实践与优化。具体而言,平台采用 Deepspeed Ulysses 序列并行并结合通信重叠优化以降低单条请求延迟;引入 SageAttention 算子并设计层间选择性量化方案,在保持视频质量无损的前提下显著降低 Attention 耗时;通过线性层 W8A8/W8A16 混合量化解决显存溢出问题并消除 CPU Offload 开销;同时自研基于动态规划与路径感知成本张量的 DPCache 缓存方案,实现了比 TeaCache 和 TaylorSeer 更优的全局最优调度与加速效果。最终,该实践在生成质量肉眼不可区分的前提下,实现了除多卡外4.87倍的推理加速,将单次推理成本压缩至低于0.15元/秒。


背景


随着 AIGC 技术的爆发式发展,图生视频(Image-to-Video, I2V) 已成为当前多媒体内容生成领域最具潜力的方向之一。越来越多的开源与商业模型涌现,极大地降低了视频内容创作的门槛。

然而,图生视频模型在实际落地过程中面临着显存占用高、推理延迟高、硬件成本昂贵等瓶颈。在工业界,推理速度直接决定用户体验与服务成本。如何在保证生成质量的前提下,显著提升推理吞吐、降低单次生成延迟,是每一个将图生视频模型推向生产环境的团队必须攻克的核心课题。


TMAP 平台在与“淘宝法象”视频生成算法团队合作进行的图生视频推理加速落地实践中,在多卡并行、Attention 加速、量化加速、缓存加速等领域都进行了深入研究与落地实验,取得了在生成质量几乎无损(肉眼不可区分)的前提下,除多卡外 4.87 倍加速、推理成本压缩到低于0.15元/秒的显著成果。

加速效果展示


下面是目前图生视频主服务线上版本加速前后的生成效果对比,可以看出,除了偶尔出现的少量动作上的微小细节变化,基本能够做到肉眼不可区分的无损加速。 

未加速
加速后

多卡通信优化


▐  多卡介绍


从 1.5B 的 cogvideox 模型到 14B 的 wan2.1,  从 360p 到 1080p 视频,  从 5s 到分钟级视频, Scaling Law 广泛存在于视频生成领域中. 单卡的算力和显存逐渐不能满足时效性和可用性, 多卡并行推理成为必需能力. 下表从能否提升吞吐和降低延迟的角度对比了主流的多卡并行策略:


▐  多卡并行选型


我们服务的视频生成业务特点: 

  • 流量多为在线流量, 对堆积的容忍度较低; 

  • 同等质量下, 生成越快给用户的体感越好, 就越具有竞争力.

  • 会结合多种加速策略

因此需要选择可以降低单条视频产出耗时的、易于和其他加速技术结合(量化, 缓存等)的多卡并行策略, 最终使用了 Deepspeed Ulysses 序列并行, 将线性层和注意力层的计算量均分到所有设备上. 下图展示了序列切分的过程: 

▐  优化多卡并行


结合注意力量化算子 sageattention

选型时考虑了与注意力量化的结合, 由于 Ulysses 序列并行中注意力模块并行为 head 级并行, 全部 head 均分到各个设备上, 每张卡在序列维度完整, 这使得可以方便地接入高效注意力算子.

调整算子执行顺序掩盖通信

计算出本地的 q, k, v 后需要通过 all2all 通信传输后计算 attention, 在优化后期, all2all 的整体耗时已经接近 attn 2/3, 在分析 torch 的通信 api 后, 我们重构通信流程(如下图), 与前序计算尽量重叠.


▐  效果


排除多流并行的开销后降低了25%的通信耗时(如下图). 

Attention 性能优化


▐  背景


单卡下各算子计算量(TFLOPs)的 profile 如下, 其中 attention 算子 aten._scaled_dot_product_flash_attention 占比73%; 如图左, 实际运行时, 默认使用的 flashattention2 算子耗时占比72%. 因此 attention 算子是尝试加速的首要方向.

Module                                                FLOP    % Total----------------------------------------------  ----------  ---------Global                                          98142.200T    100.00%- aten.mm                                           4.742T      0.00%- aten.bmm                                          0.103T      0.00%- aten.convolution                               1156.279T      1.18%- aten._scaled_dot_product_efficient_attention     11.607T      0.01%- aten.addmm                                    24575.255T     25.04%- aten._scaled_dot_product_flash_attention      72394.214T     73.76%

attention--16bit
attention--8bit

attention量化前后耗时分布对比


Flash-attention2算子在工程实现上已经没有显著提升空间, 进一步加速的思路就是降低计算量(稀疏)和降低数据宽度(量化). 在sageattention-1(24年底)提出之前, attention量化的开源方案只有flash-attention3. 但是FA3
不支持平台已有的计算卡架构, 而且sageattention论文提出FA3在视频生成模型上容易引入明显模糊. 


▐  attention量化


通过追踪学术界和开源社区动态, 确定了将结合可以达到加速与视频质量平衡的 sageattention 算子作为加速方向.

保持视频质量

业务的要求是加速前后的视频在全局和关键细节都要保持一致, 虽然 sageattention 已经很好, 但既然是量化就不可能完全无损. 如下视频, 在业务早期的 cogvideox 模型上直接使用会有闪现马赛克的 badcase.  如下图表所示, 我们通过可视化 attention 误差, 发现部分 attention 层(如 layer_2)在所有降噪迭代中误差都明显偏大, 而大多数层误差很小(如 layer_1, layer_3, layer_4). 最终设计了层间选择性量化(每次迭代时部分 attn 层保持原精度)的方案, 平衡了生成视频速度和质量. 在 Wan 模型视频质量受量化的影响更小, self-attention 模块的 attention 量化全局开启.


badcase
layer_1 over all iters
layer_2 over all iters
layer_3 over all iters
layer_4 over all iters


优化算子细节

per-channel量化算子中的量化系数计算逻辑中(https://github.com/thu-ml/SageAttention/blob/d1a57a546c3d395b1ffcbeecc66d81db76f3b4b5/csrc/fused/fused.cu#L399), 如果某个 channel 数值全0会出现除0情况, 后续矩阵会出现 nan. 修复该逻辑后解决了业务 refiner 模型中生成黑屏视频的问题.

效果

量化后 attention 耗时降低到原1/3.


FFN性能优化

▐  背景


在业务逐渐放量的背景下, 综合考虑性能、成本和供应后, 决定在上线时使用显存更低的计算卡,这使得原先版本的模型无法在不 OOM 的情况下运行.早期开启了 cpu offload, 即每条视频生成都需要依次执行 text_encoder->image_encoder->transformer->vae 4组模型权重的 cpu 内存加载到 gpu、 gpu 推理、gpu 显存清空, 额外耗时显著增加(35s左右), 如下图. 此外从上节attention量化前后对比图也看到在 attn 算子通过 sageattention 量化加速之后, 线性层的耗时占比明显上升.


▐  线性层量化

DiT的权重集中在线性层, 如果量化线性层权重从BF16到8比特可以降…
— 以上为试看内容(约 40%),开通会员后阅读全文 —