抖音质量效能部不传之秘:用AI精准预估“可能出事”的模块


在抖音质量效能部搬砖那几年,每隔一段日子就会被拉进同一个“紧急群”——某个看起来人畜无害的代码提交,上线后把核心链路炸出一片红。复盘的时候大家总在叹气:要是能提前知道这模块“不干净”,哪怕多分一个测试人力进去也好啊。

后来我们还真搞出来了。没搞什么玄学,就是用 AI 做了一件事:每次代码变更,自动给这个变更的“出事概率”打分。从“到处救火”慢慢变成了“精准拆弹”。离开抖音后一直想把这套思路完整写下来,核心方法不涉及业务机密,今天就把这层窗户纸捅破。


一、先别急着上模型,想想你究竟要预测什么

很多人一上来就去找数据集、跑 XGBoost,结果折腾一个月连基线都出不来。我们最开始也犯了这个错。

真正要预测的不是“哪个模块有 Bug”,而是——“这次代码变更,引入线上故障的概率有多高”。这两者差别巨大。模块历史 Bug 多,只代表它旧债多,不代表这次改动一定出事;一个从来不出事的模块,被一个新人改了核心逻辑,往往才是大雷。

所以我们的预测对象是 commit(变更)。每一次 MR(Merge Request)提上来,模型就给它一个风险分。分高了,测试就重点关照,甚至直接卡发布。


二、把脏活干好:样本标注比调参重要十倍

有监督学习,第一步是拿到“有问题的变更”和“没问题的变更”作为正负样本。听起来简单,做起来全是坑。

我们当时的做法是打通两个数据源:

  • Git 仓库的 commit log(拿到 diff、作者、时间、改动文件列表)
  • 线上故障/bug 跟踪系统(明确记录哪些故障是由哪个 commit 引入的)

正样本:能追溯到某个 commit 是故障根因的,标为 1。
负样本:上线后安安稳稳跑了两周,没惹出任何线上工单的 commit,标为 0。

这里头有三个血泪经验:

① 千万别用“修复 Bug 的 commit”直接做正样本。
因为修复 Bug 的那个 commit 本身是解决问题的,它的 diff 特征通常是“加个判空”“修个边界”,和真正“写出 Bug”的 diff 截然不同。我们一开始没区分,模型学废了,以为加 if 判空是高风险行为,闹了大笑话。

② 窗口期要卡死。
一个 commit 上线后,到底观察多久没出事才算负样本?我们试下来,双周迭代下,观察 10 个自然日比较稳。有些模块上线后三天才因为定时任务暴露问题,窗口太短会把大量“还在路上”的 Bug 标成负样本,污染训练集。

③ 别做“一视同仁”的随机采样。
业务代码里,不出事的变更占了 95% 以上。如果你直接全量丢进去,模型会学到一招绝技:永远预测低风险,准确率贼高,屁用没有。我们后来做了下采样,让正负样本比例控制在 1:5 左右,同时给正样本加高权重,模型才学会认真对待那些危险信号。


三、真正值钱的不是算法,是这一把特征

抖音的代码库极其庞大,业务线几十条,语言主要是 Java/Kotlin/Go/C++。我们设计特征的时候只有一个原则:让不懂模型的人看了也觉得“有道理”。否则你推不动,研发老大会觉得你在搞玄学。

我们最终沉淀出五类特征,每一条都是跟开发、测试反复扯皮磨出来的:

1. 变更规模 —— 越大越容易出事,但有个例外

  • 新增行数、删除行数、总修改行数
  • 涉及文件数、涉及目录数
  • 是否改了底层库(如网络层、存储层):单独的布尔特征,改了直接 +20% 风险分起步

例外是什么?纯 import 整理和格式化代码。这种变更动辄几百行,但几乎零风险。我们后来用正则扫 diff 内容,如果 90% 以上的改动行只是空白/缩进/import 替换,就直接压权重。

2. 代码复杂度 —— 你写的圈复杂度,最后都变成锅

  • 改动代码块的最大圈复杂度
  • 是否新增了嵌套超过 3 层的 if/for
  • 是否修改了已有高复杂度函数(圈复杂度 > 15 的老代码)

这个特征抓“屎山上的新包”非常准。有一回直播推荐模块一个小 MR,只改了 5 行,但扎在一个 1200 行、圈复杂度 38 的老函数里。模型直接给了高危。开发不信,结果上线当晚缓存击穿,故障单编号我到现在都记得。

3. 历史债 —— 这文…

— 以上为试看内容(约 40%),开通会员后阅读全文 —