复杂任务AI处理实践:淘宝工程师的实战手记




本文分享了作者探索AI辅助处理"复杂重复性工作"的实践经验。文章总结了一套可复用的方法论——如何将人工操作抽象为"感知-决策-执行"的 AI 闭环,并通过工单处理、数据治理、基线运维等真实案例,展示从"工具助手"到"智能体"的三种自动化模式。

引言:为什么我们需要“AI协作者”?


你是否也曾经历过这样的时刻:
  • 时不时在非工作时间收到告警,只为处理一条非自身原因的上游问题;
  • 收到工单后要翻五六个平台查日志、看配置、逐层排查,且一年要处理数百条工单;
  • 上游改了个字段,你得手动排查几百个下游任务是否受影响;
  • 想治理一张表,需要翻遍本表与所有上下游的代码和元数据才能下结论;
这些工作有个共同特点:看起来不完全一样,但行动路径高度固定。它们消耗大量时间,却创造的增量价值有限。

随着大模型能力的持续演进,AI 的应用边界正从“确定性任务”向“具有一定不确定性”的复杂场景延伸。我们开始思考:能否让 AI 学会像人类一样“看信息、做判断、动手操作”,成为我们可靠的数字协作者?

核心理念:输入明确、逻辑清晰、动作固定的“重复性工作”,都可以尝试交给AI完成。

不仅包括“批量打标”这种显性重复,也包括“数据治理”“工单排查”“夜间值班”这种看似灵活但套路固定的隐性重复工作。


核心思想:把人类的操作

抽象成 AI 的“眼”、“手”和“脑”


我们可以把AI当成一个刚入职的新同事。要让他干活,就得先给他配齐三样东西:
  • AI 如何感知上下文? → 构建“眼睛”
  • AI 如何执行动作? → 构建“手”
  • AI 如何闭环操作? → 构建“脑”
我们将这一过程抽象为如下范式:
[AI大脑] ←(Prompt/Workflow)→ [工具集]   ↑                       ↗       ↘(决策与规划)           (读取类工具)   (操作类工具)                   (如查代码/读工单) (如发任务/评论/发布)

▐  2.1 眼睛:让AI看得见上下文

AI本身是个“睁眼瞎”,它看不到消息、查不了工单、读不了代码。
所以我们要给它装上“眼睛”——也就是需要通过接入SDK并封装成工具,将其变成 AI 可调用的“视觉器官”。例如:

工具类型

对应能力

示例

代码平台

读取 代码、FILE文件、表结构

读代码,做分析

工单平台

提取工单内容、状态、评论

读取用户反馈的问题及已有排查进度

文档平台

获取文档库目录、查看文档

读取文档内容

日志平台

读取日志

提取报错原因、捞取SQL

一句话总结:把平时“打开网页查看信息”的动作,变成AI可调用的“工具”。


▐  2.2 手:让 AI 动起来

仅有观察还不够,AI 还需要能采取行动。我们将常见的操作也封装为可调用工具:
工具类型
操作类工具
代码平台
创建/提交/修改/发布任务
任务平台
查看任务、修改实例等
工单平台
在工单中添加评论、流转状态
数据平台
查询/排查元数据、执行SQL
办公软件开放平台
发送消息、写入文档
团队内已有工具
全链路血缘等

▐  2.3 脑:让AI会思考、能闭环

有了眼和手,最后一步是教AI怎么“思考”——也就是决策流程。根据任务特性的不同,我们采用两种主流模式:
方式
适用场景
类比
Workflow(流程引擎)
步骤固定、分支清晰的工作
像SOP手册,一步步执行
Agent(智能体)
问题多样、路径不固定的任务
像资深工程师,边查边想

当“眼”、“手”、“脑”齐备时,AI 就具备了完整的“感知-决策-执行”闭环能力。
举个例子:
  • ODPS治理?→ 用 Workflow:查各项信息 → 查血缘→ 读各层代码 → 判断是否可治理 → 下线or冷备or治理;
  • 处理工单?→ 用 Agent:先理解问题类型 → 决定查日志还是看配置 → 综合判断 → 直接回复 or 流转。

最终目标:构建一个“感知 → 决策 → 执行 → 反馈”的完整闭环,让AI自己跑完一整件事。


▐  2.3 AI效果保证

在与其他同学沟通初版文章时,AI 结果准确性被反复提及。这在实操时确实也是核心关注点之一,只是此前未曾体系化整理过。经过实践总结,提炼出以下几个常用保障策略:
策略一:设计阶段 - 提示词精准化
核心原则:提示词要像写代码一样严谨

💡 最简单方法: 把你的提示词交给 AI 润色一遍

提示词设计要点:
  • 明确输入格式和范围 — 告诉 AI "你会看到什么"
  • 清晰定义判断标准 — 可量化、可验证(如"字段被用于 JOIN"而非"字段很重要")
  • 规定结构化输出格式 — JSON / 表格 / Markdown
  • 提供正反例示范 — 什么是对的,什么是错的
  • 设置边界条件处理规则 — 遇到不确定情况怎么办

策略二:策略保守不激进
在自动化治理等高风险场景中,我们采用"保守优先"策略:
  • 有不确定性 → 直接返回 而非冒险执行
  • ✅ 策略按最保守的来 宁可少治理,不可误删除
  • ✅ 设置安全阈值 如"仅当高置信度时自动执行"
实例: 在存储治理场景中,如果 AI 无法高置信度确认某表无下游依赖,会标记为"需人工确认",而非治理。

策略三: 可解释性输出
核心原则:永远输出"结论 + 理由 + 过程"
AI 的输出不应该是一个简单的"是/否",而应该是一份完整的JSON报告,如:
{  "是否可缩短生命周期": " ",  "是否可下线": " ",  "原因": "",  "分步骤结论": [    "任务优先级",    "下游最长依赖时长",    "上游可恢复性"  ],  "工具原始结果": { "下游节点列表": [...], "节点元信息": {...} },  ............}
作用:
  • 可验证性 — 人类可追溯 AI 的每一步推理;
  • 可信任性 — 即使 AI 出错,也能快速定位问题,同时也可以根据原始数据和中间结果人工快速得出结论;
  • 可优化性 — 通过分析过程改进 Prompt 和工具。

策略四:多层校验
不要盲目信任 AI 的单次输出
我们通过以下方式提升可信性:
  • 增加观测节点 — 在关键步骤后插入"结果确认"环节;
  • 增加验证节点 — 在结果后添加验证环节;
  • 重要内容人工验证 — 高风险操作和重要节点、必须人工确认;
  • 多次执行取一致 — 对不确定结果,可人工复核。

AI自动化的不同方案


▐  方案一:工具助手 - 单次调用,辅助分析

核心能力:AI 一次性完成某个特定分析任务,帮人类快速筛选或提取信息
典型场景:
  • AI 对一批代码等内容,做一些梳理、分类、打标或质量检查
  • AI 批量从文档中提取关键信息,整理成结构化知识
  • 批量任务创建:读取模板 → 自动生成 → 提交发布
特点:
流程简单:输入 → AI 处理 → 输出结果
图1:简单工具示例
  • 快速见效:已有工具的情况下,几分钟就能搭建

适用判断:如果你的工作是"需要看大量信息,但只需要简单判断",就适合用工具助手。


▐  方案二:复杂workflow - 多步骤串联,条件分支

核心能力:按照预设的固定流程,自动调用多个工具、执行多步操作,支持循环与判断
典型场景:
  • 数据治理:查表信息及代码 → 看血缘关系 → 读上下游代码 → 查上下游信息 → 评估 → 给出治理方案 → 输出治理建议JSON
  • 定期巡检任务:每天自动检查系统状态 → 发现异常 → 分类处理 → 发送报警
  • 特定场景工单排查:读取工单内容和已有进度 → 查询日志 → 确认问题 → 逐层排查 → 定位原因 → 回复
特点:
  • 流程复杂:可能包含10-50个步骤,有循环、条件判断
图2:复杂workflow示例
  • 多工具协同:需要调用多种不同平台的不同工具(查询、分析、操作)
  • 全自动执行:设置好后可以无人值守

适用判断:如果你的工作是"步骤很多,但每次都按相同顺序做",就适合用workflow。


▐  方案三:智能规划 Agent - 自主规划,动态决策

核心能力:AI 像人类专家一样,根据具体情况自主选择排查路径、灵活调用工具、动态调整策略
典型场景:
  • 工单自动运维:理解用户问题 → 自主选择排查方向 → 调用相关工具 → 分析根因 → 给出解决方案 → 自动回复或流转
  • 基线运维:监控多条基线 → 发现异常→ 持续监测直到决策时间点 → 自主决策处理→ 执行操作 → 通知相关人员
特点:
  • 高度灵活:不依赖固…
— 以上为试看内容(约 40%),开通会员后阅读全文 —