用Agent评测思路管理AI Coding —— 31万行代码AI重构的实践


当 90% 以上代码由 AI 生成,决定系统走向的不是谁写得更快,而是约束 AI 的能力。没有统一规范,AI 只会成倍放大混乱。本文基于 31 万行代码重构实践,分享我们如何用Agent 评测思路管理 AI Coding——通过技术债梳理、建设Rule、重构 SOP 和 Pre-PR 机制,把重构从高成本专项变成随迭代持续推进的日常动作。我们沉淀的关键经验:

用评测 Agent 的方式管理 AI Coding:我们团队负责 Agent 评测业务,在实践中沉淀出“人人对齐→人机对齐”的核心理念,而管理 AI Coding 的底层逻辑与之完全相同。先让团队形成统一共识(人人对齐),再将共识固化为 AI 可执行的约束(人机对齐)。顺序错了,AI Rule 写得再好也是一纸空文。
AI 重新定义了“经验”的价值边界:利用 AI 工具,工程师短时间内就发现了 10 个性能隐患。过去要靠三年经验才能建立的代码全局感,AI 给所有人都配上了。经验的价值正在从“能看全”转移到“能判断什么重要” —— 这才是人不可替代的部分。
技术债可以像业务需求一样被迭代消化:重构不需要排期,需要拆解能力。我们没有申请一天专门的重构时间,31 万行代码在业务交付中被渐进式消化。关键在于能不能把技术债拆解为业务需求的顺带动作。这需要极强的技术判断力,但一旦跑通,重构就不再是与业务争资源的零和博弈。
工程师的角色变了:当 90% 代码由 AI 生成,团队成员的工作重心应从“写代码”转向“设计并维护一个能让 AI 可靠产出代码的工程环境”。

🎈我们在文末还增加了读者互动环节,欢迎大家晒出自己的见解、思考,分享实践经验,一起交流学习。

    本文目录

    • 一、背景
    • 二、为什么要重构?
    • 三、重构时间线与执行路径
      • 阶段一:定义问题,借助 AI 梳理技术债(2026 年2月启动)
      • 阶段二:调研并制定 AI 友好的研发规范(2026年2月底完成)
      • 阶段三:建立 SOP,“见缝插针”完成渐进式重构(2026年3月-4月)
    • 四、总结
      • 我们沉淀的关键经验
      • 行动指南:如果你的团队也想落地

    当团队 90% 以上的代码由 AI 生成,31 万行的复杂业务系统还在高速膨胀,你会发现一个反直觉的事实:AI Coding 不会自动收敛复杂度 —— 没有统一规范的约束,不同人用 AI 写出的代码风格各异,系统反而会加速腐化。

    本文记录了我们如何在不停止业务交付的前提下,完成这场重构。在这个过程中,我们积累了三个关键经验,希望这篇实战经验能提供一些可复用的思路。

    • 经验一:用Agent评测思路管理AI Coding。我们团队负责 Agent 评测业务,在实践中沉淀出一套核心标准对齐理念:“人人对齐→人机对齐”。我们发现管理 AI Coding 的底层逻辑一模一样 —— 先让团队形成统一共识(人人对齐),再将共识固化为 AI 可执行的约束(人机对齐)。本质上,就是同一套方法论在两个领域的复用。
    • 经验二:AI 正在重新定义“经验”的价值边界。利用 AI 工具,工程师短时间内就发现了 10 个性能隐患——过去需要长期积累才能建立的代码全局感,现在借助 AI,团队中的每个人都能快速具备。经验的价值正在从“能看全”转移到“能判断什么重要”。
    • 经验三:技术债可以像业务需求一样被迭代消化。 行业谈重构,要么推倒重来,要么申请专项。我们给出了第三条路:把技术债拆解为业务需求的“顺带动作”,借着迭代渐进式消化。

    一、背景

    Agent评测系统长期承载多个核心业务场景,它同时承担了数据生产、流程编排、质量控制与多人协作等复杂能力,业务复杂度和工程复杂度都很高。具体来看,我们面对的复杂性主要体现在三个维度:

    • 业务仍处于探索期,导致需求高度模糊:全行业都在探索 Agent 评测,用户也不了解应该如何评测。这个大背景导致评测的需求又急又模糊。急,希望快速试错;模糊,业务方也不确定这条路是否真的有价值。
    • 庞大且高频的迭代体量:系统从 2025 年 6 月约不足 5 万行代码快速扩展至 31 万行,保持着月均 16 个需求(80% 业务需求 + 20% 技术需求)的高负荷运转。
    • “笛卡尔积”级别的业务场景矩阵:系统底层支持 6 种多模态数据评测,上层构建了多种核心任务视图和精细化业务动作,并配套了十余种质检机制。这些能力交织着多种标签体系与动态分配策略,意味着系统每天都需要稳健处理成百上千种截然不同的复杂业务流组合。

    二、为什么要重构?

    当业务进入快速迭代与试错期,上述庞大的业务体量与原有底层架构之间的矛盾就会集中爆发,迫使我们必须启动本次大规模重构。核心动因直指以下三个痛点:

    1. 业务模型亟需升级,旧架构无法支撑探索性业务

    随着业务交互的丰富度和复杂度增加,旧有数据模型扩展能力不足导致“烟囱式”功能开发,几乎每新增业务形式都需要新增代码来实现。

    2. 代码严重腐化,技术债拖垮迭代效率

    过去长期采用“按需求建包”的模式开发,代码缺乏合理的工程分层,Controller 等各种复杂逻辑揉在一个包内,形成了严重的“面条式代码”。在 31 万行代码的体量下,这种深度的技术债让日常开发“牵一发而动全身”,导致一线同学开发异常痛苦,交付效率遭遇严重瓶颈。

    3. 协作模式风险放大,缺乏规范的 AI Coding 加速系统腐化

    一年左右的时间,团队成员规模增至 3 倍,并且团队成员技术背景复杂,涵盖高并发、机器学习离线训练、管理后端开发以及实习生,复杂业务系统开发经验不足。在这样一个高人员流动和跨技术栈的背景下,再叠加 90% 以上代码由 AI 辅助编写这一事实,如果不建立硬性的底层架构规范,不同背景的同学各自用 AI Coding,系统必将以极快的速度产生不可控的腐化与新债。

    因此,我们不仅需要工程重构,而且要建设符合 AI Coding 规范的工程重构。规范才可以帮助我们团队消灭旧技术债,规避新技术债。

    三、重构时间线与执行路径

    | 阶段一:定义问题,借助 AI 梳理技术债(2026 年2月启动)

    在需求高压背景下,要梳理技术债面临着一个极其现实的困境:量太大,根本看不完,也看不全。

    面对膨胀至 31 万行以上的代码库,试图靠人力逐行阅读来建立全局的可靠认知是不现实的。我们的代码库中同样伴随着典型的高危特征:很多地方文档不全、大量隐式逻辑和历史兼容分支藏在细节里。一个看起来不起眼的接口,背后可能挂着一串极长的调用链。所以,梳理技术债最大的难点,在于人力永远无法在短时间内穷举和穿透这些错综复杂的关联逻辑 —— 单段代码谁都能读懂,但没人能在短时间内把 31 万行的调用链全部穿透。

    我们采用的是一种更适合复杂系统的方式:“专家经验定向 + AI 辅助排查”。

    不再试图人工遍历,而是由核心开发圈定高危的排查边界,然后把穷举和扫描的脏活累活交给 AI。通过这种方式,我们快速摸清了系统底层的 P0/P1 级技术债(如业务模型缺陷、数据库查询性能隐患、状态管理技术债、索引技术债等)。

    这一步中,我们最大的体会是 AI 很适合帮我们把问题“看全”,但什么问题最重要,什么问题值得优先改,还是要由人来判断。具体来说,人负责圈定 P0/P1 级问题和优先级,AI 负责在圈定的方向上做穷举扫描——比如梳理业务模型问题、定位大数据量性能隐患、排查状态管理和索引层面的技术债。

    实践下来,这一步的 ROI 很高。我们仅仅投入了有限的资源,就完成了…

    — 以上为试看内容(约 40%),开通会员后阅读全文 —