淘宝闪购-爆品团精排Scaling Up迭代实践

阿里妹导读


文章内容基于作者个人技术实践与独立思考,旨在分享经验,仅代表个人观点。

淘宝闪购爆品团业务排序模型过去很长一段时间更像是在“堆模块”:遇到一个问题,就补一个结构。短期看,这种方式能持续拿收益,但当模型越做越大,结构碎片化、计算不够稠密、调参成本高等问题会越来越明显。

这次爆品团排序模型升级,核心不是再增加一个局部模块,而是把主干从传统 DLRM 架构切到 Token-Based 的 RankMixer 架构。围绕这条主线,我们系统做了负采样、多任务学习、序列建模、Tokenization、FFN、MoE 和 Task Tower 等结构消融。

多期迭代后,模型规模从 85M 扩展到 107M,再到 243M,并在爆品团频道页取得了稳定线上收益。

先说结论

这次迭代里,比较明确的结论有几条。

旧模型的问题不是单个模块失效,而是整体结构碎片化。 RankMixer 将特征组织成 Token 后,可以用统一 Token-Mixing 主干承接高阶交互。

随机负采样并不适合当前样本分布。 保留全量负样本并做 Loss 加权更稳。

GradNorm 能缓解多任务学习节奏不一致。 但训练计算量也会明显增加。

Tokenization 不一定越复杂越好。 Pad-Split 效果接近 Group-wise,且实现更简单。

在当前 16 Token 配置下,Dense FFN 仍是更稳的主线。 Sparse MoE 在当前 16 Token 设定下没有超过 Dense。

Flat Concat 更利于 Tower Scaling。 MMCN 是当前收益最明显的 Tower 结构。

1. 为什么要重构排序模型

近年来,NLP 领域通过 Scaling Law 确立了“大规模参数 + 稠密计算架构”的技术路线。相比之下,搜推广排序模型中仍有不少系统沿用 DLRM 类范式:稀疏特征、人工交叉、多个异构模块层层叠加。

爆品团线上旧排序模型也是类似路径。Embedding 和 Sequence 层之后,模型继续串联 EPNet、多层 PLE、Task Specific Net、Task Bias Net、ResFlow Tower 等模块。这里的 ResFlow 是组内提出的一种多任务交互结构,核心思想是在不同任务 Tower 的每一层之间传递残差信息,让 CTR、Item CTCVR、Shop CTCVR 等任务在逐层建模时保持信息流动,而不是只在底层共享或在最后独立预测。

这些模块各自解决过局部问题,但放在一起之后,系统开始呈现几个长期成本。

结构碎片化。 多个异构模块堆叠,缺少统一计算范式。

计算冗余。 不同模块之间存在重复的特征交互计算。

维护成本高。 模块多、联合调优困难。

扩展性差。 很难只靠增加层数或维度完成 Scaling Up。

所以,这次重构的目标不是“继续补模块”,而是把主干换成更适合规模化的统一结构。

2. 新架构:把特征组织成 Token

新模型保留原有 Embedding 和 Sequence 部分,将序列和非序列特征聚合后的表示 concat,再切割成指定维度的 Token。之后,Token 进入多层 RankMixer,最后接 3 个独立任务的 Task Tower,也就是 MMCN,分别预测 CTR、Item CTCVR 和 Shop CTCVR。

可以把这次升级理解成:

从“人工设计多个特征交互模块”,转向“用统一 Token 主干自动学习高阶组合”。

RankMixer Block 主要由两个部分组成。

Token Mixer 负责不同 Token 之间的信息混合。

PerToken FFN 负责每个 Token 内部的非线性变换。

下面这张图展开到 Block 内部:Token Mixer 负责跨 Token 混合,PerToken FFN 负责每个 Token 内部的非线性变换。后续实验也围绕一个问题展开:哪些结构值得作为主线继续放大,哪些只是局部有效,哪些在当前规模下还不适合。

3. 结构消融:哪些选择真正有效

结构消融部分按决策顺序展开:数据怎么用,多任务怎么训,Token 怎么切,主干怎么放大,Tower 怎么接。

3.1 负采样:

随机采样不如全量负样本 + Loss 加权

爆品团业务正负样本极度悬殊,尤其是 CTCVR 目标。初期尝试过随机负采样,负样本采样比例为 0.1,但 AUC 明显下降。

最终采用的方案是保留全量负样本,并配合 Loss 加权,也就是正样本加权、负样本降权,最终 AUC 提升约 0.1%。

随机采样的问题在于,它容易丢失与正样本相似的难负样本,影响排序边界学习;同时也会改变训练集正负比例,破坏真实分布,影响概率校准。

Loss 加权的优势则是:保留足够多的负样本,让模型继续接触 Hard Negatives;同时在不破坏样本分布的前提下,平衡正负样本梯度贡献。

对于以 AUC 为核心指标的排序任务,负样本不是简单噪声。与其粗暴采样,不如保留信息,再用 Loss 权重调节梯度。

3.2 多任务学习:

GradNorm 收益明确,但训练更贵

爆品团频道页同时优化 Shop CTCVR、Item CTR 和 Item CTCVR。多任务学习的难点不只是“多几个 Loss”,而是不同目标的数据密度和收敛速度都不一样。

转化数据稀疏。 模型学习的是 CTCVR,线上再用 CTCVR / CTR 得到 CVR,pCVR 没有直接梯度监督,数值稳定性也更敏感。

多任务梯度存在竞争。 各任务收敛节奏不一致,固定 Loss 权重很难兼顾所有目标。

我们尝试了 ESMM 约束和 GradNorm。

ESMM 约束 通过 PCTCVR = PCTR × PCVR 直接学习 CVR,带来 CTCVR AUC +0.2%,但 CTR AUC -0.4%。

GradNorm 通过动态调整 Loss 权重来平衡任务学习速率,CTCVR 持平,CTR AUC +0.7%。

ESMM 的问题是 CTCVR 梯度会反向传播到 CTR Tower,改变 CTR 特征表示,使 CTR 学到的特征混入 CTCVR 目标。

因此,这里最终更偏向 GradNorm:它不改变模型结构,主要通过动态权重缓解任务学习节奏不一致的问题。它的收益比较明确,但代价也明确,训练 GFLOPs 约翻倍。

3.3 序列层:

轻量改造有效,重替换未必收益

当前模型仍是两段式结构:先做序列建模,再将序列输出合入非序列 Token 中继续建模。

我们尝试用其他结构替代原 MHA 和 EAT Based Target Attention。

HSTU 使用 QKVU 无 Softmax 的类 Transformer 结构,AUC -0.44%。

Gated Attention 在 MHA 和 ETA 后增加 Gated Attention,AUC +0.06%。

STCA 堆叠多层 Cross Attention,AUC -0.32%。

这组实验说明,序列层不是换得越新越好。在当前实验中,收益最稳的是在原 Attention 后增加 Gated Attention。

3.4 Tokenization:

Pad-Split 是简单有效的选择

Tokenization 决定了特征如何进入 RankMixer,也会影响信息损失、参数量和收敛难度。

Auto-Split 是 block → allconcat → MLP → split → token,理论上可以学习最优投…

— 以上为试看内容(约 40%),开通会员后阅读全文 —