给“氛围编程”系上安全带:阿里集团 AI 代码评审实践与 Benchmark 开源

前言

本文将分享阿里集团在 AI 代码评审方向“历时一年半”、“数万亿 Token 真实场景打磨”的探索现状,以及我们联合南京大学研发效能实验室开源的、汇聚 80 多位资深工程师进行多轮交叉标注的业界首个多语言、具备存储库上下文感知的 CodeReview Benchmark,旨在为行业提供更精准的质量评估标准。

在 AI 浪潮席卷全球的当下,从 Copilot 到 Agent,代码生成技术正以惊人的速度演进。AI 正以前所未有的效率和规模生产代码,但这股洪流也给软件开发生命周期中的代码评审(Code Review)环节带来了前所未有的挑战。

面对 AI 交付的海量代码,你或许也有和我们同样的“体感”:随着对工具边界的掌握和 Prompt 技巧的娴熟,信任感逐渐建立。只要代码可编译、单测通过、预发环境功能正常,我们便很容易建立起一套简化的验收标准,从而逐渐放弃了对 AI 生成代码的逐行 Review。

这种被称为“氛围编程”(Vibe Coding)的美好,往往会被一次突如其来的线上故障无情戳破。

代码 Bug 就像蟑螂:当你发现一只时,阴暗处可能早已潜伏着成百上千只,你不去寻找,隐患依然存在。

随着 AI 代码生成的规模与效率呈指数级增长,即便是极低概率的模型幻觉而产生 Bug,一旦逃过代码审查流入生产环境,其累积的绝对数量都将构成巨大的线上风险。因此,我们应该如何更好地借助 AI 的能力,来预防这些由编码引起的线上故障,希望本文能给读者带来一些启发。

阿里集团的 AI 代码评审发展到了什么阶段?

人机协作新范式:AI 接管基础,人类聚焦核心

在代码生成技术日新月异的今天,作为编码守门员的 Code Review 也在加速其智能化进程。自 2024 年初上线以来,阿里官方 AI 代码评审助手已深入阿里数万开发者的日常工作。内部数据显示,每天有超过一半的有效评审意见由 AI 产出,并且这个比例还在逐步增长。在人工评审量小幅下降的情况下,总体有效评审量(含采纳的 AI 意见)却实现了同比翻倍。这一趋势标志着 Code Review 正迈向人机协作新阶段:AI 正在接管繁琐的基础评审工作,让开发者能聚焦于发现更复杂的业务风险,以更少的时间发现更多的风险。

AI 代码评审功能示例图

Agent 驱动:像人类一样评审代码

经过万亿级 Token 的真实场景打磨,新一代 AI 代码评审助手的评审能力早已超越了初级工程师,它具备跨代码块、跨文件、跨变更的深度问题发现能力。不同于传统的 RAG 模式,全新的 Agent 架构赋予了它“动态召回上下文”的核心优势:它能像资深工程师一样进行智能决策——既能直接响应简单的语法问题,也能在面对复杂逻辑时自主调用工具,通过多轮“思考-行动”的迭代,精准捕捉隐蔽的代码隐患。

接下来,我们通过一个经典的空指针异常(NPE)案例,来展示 Agent 是如何像人类一样进行逻辑推演的。

场景描述: 示例中新增了一个获取 AI 规则的getCodeReviewAiRuleResult方法,该方法的逻辑是:首先调用 projectCodeReviewSettingsService.getAiReviewSettings(projectId)方法从数据库中获取配置,然后将返回结果中的字段aiReviewSettings.getAiReviewSetting()传入IntelligentReviewRuleMatcher.build方法。

1. 感知上下文 (Context Perception)

Agent 首先根据新增代码的行号,主动读取了方法附近的完整上下文,以理解业务逻辑的来龙去脉。

{  "role": "assistant",  "content": "需要详细了解新添加方法的上下文环境以更好地评估其功能和潜在问题。",  "reasoning_content": "我将根据提供的评审检查项来审查当前文件的代码改动。首先分析新增的方法 `getCodeReviewAiRuleResult`",  "tool_calls": [    {      "type": "function",      "function": {        "name": "file.read",        "arguments": "{\"file_path\":\"force-base/src/main/java/com/alibaba/force/base/project/service/impl/ProjectsImpl.java\",\"start_line\":2715,\"end_line\":2755}"      }    }  ]}

2. 假设与推理 (Hypothesis & Reasoning)

在理解代码逻辑后,Agent 敏锐地察觉到了风险点:如果 getAiReviewSettings 方法返回 null,后续直接调用 aiReviewSettings.getAiReviewSetting() 必然导致空指针异常。为了验证这个假设并非杞人忧天,它决定调用全局搜索工具,查证该方法的历史行为。

{  "role": "assistant",  "content": "需要确认AiReviewSettingsOutputDTO对象是否可能为空以及如何处理这种情况",  "reasoning_content": "我已经阅读了相关的代码,我发现一个潜在的问题,在 `getCodeReviewAiRuleResult` 方法中,如果没有对 `aiReviewSettings` 进行空值检查,当 `projectCodeReviewSettingsService.getAiReviewSettings(projectId)` 返回null时会导致NPE。\n  让我进一步确认一下这个方法的上下文和其他相关信息。",  "tool_calls": [    {      "type": "function",      "function": {        "name": "code.search",        "arguments": "{\"search_text\":\"getAiReviewSettings\",\"case_sensitive\":false}"      }    }  ]}

3. 证据验证与风险上报 (Verification & Risk reporting)

全局搜索的结果证实了 Agent 的猜想。它发现该方法在多处被调用,且在测试用例ClientLlmCodeReviewEventListenerTest.java中明确存在处理返回 null 的场景。这一“铁证”表明,如果不做防御性编程,线上故障风险极高。基于确凿的证据,Agent 最终决定提交评审意见,并给出了具体的修复建议。

{  "role": "assistant",  "content": "发现了一个可能导致空指针异常的问题,需要提供具体的修复建议",  "reasoning_content": "通过搜索结果可以看到,`getAiReviewSettings` 方法在多个地方被调用,并且在测试中有返回null的情况(例如 ClientLlmCodeReviewEventListenerTest.java 中的第151行)。这表明该方法确实可能返回null。\n\n  因此,在新的 `getCodeReviewAiRuleResult` 方法中直接调用 `aiReviewSettings.getAiReviewSetting()` 存在空指针异常的风险。我们需要添加空值检查或者确保上层已经处理了这种情况。\n\n\n  此外,我还注意到一个问题:在 `getIntelligentReviewExcludePaths` 方法中,如果配置不存在,默认值是从 `MergeRequestLlmConstants.INTELLIGENT_REVIEW_EXCLUDE_PATHS` 获取的。但是我没有看到这个常量的定义,需要确认它是否存在以及内容是否合适。\n\n\n  不过基于现有信息,最主要的问题是NPE风险。我现在准备提交这个问题的反馈。",  "tool_calls": [    {      "type": "function",      "function": {        "name": "code_comment",        "arguments": "{\"comments\…
— 以上为试看内容(约 40%),开通会员后阅读全文 —