AI接管95%内部数据分析,Anthropic独家分享:如何把Claude调教成高级商业数据分析师


 

Anthropic内部数据分析被AI接管95%,他们是怎么做到的?一文拆解清楚,Anthropic 数据团队如何使用 Claude 自动化了 95% 的商业分析查询。文章涵盖了如何处理评估、消融实验和在线验证!文后有惊喜,A厂这时候还是很“OpenAI”的,自家的数据仓库Skill的框架全部分享出来了,我附在文章最后了,拿走不谢

让公司里的非技术同事自己查数据,这件事一直很难做。

要么把数据表做宽、做平,方便不懂SQL的人用,结果随着业务增长,各种口径不一致的视图越堆越多。要么给每个团队划出独立的数据环境,结果长尾的业务问题没人覆盖,每个团队各搞一套指标,互相割裂。

大模型的出现给了第三条路。但直接把Claude接到数据仓库上,让Agent自己跑,也会带来一个新问题:表面上很方便,实际上答案未必对。

刚开始觉得解放了,用不着人工处理那些零散的数据请求了。但很快就意识到,这套做法把业务方和底层的数据基础设施、文档、专业知识全都隔开了,而这些东西原本是引导他们找到正确数据集的关键。

Anthropic的做法是:95%的业务数据分析请求由Claude自动完成,整体准确率约95%。 把这些重复性的日常工作交给Claude之后,数据科学团队可以把精力放在因果建模、预测和机器学习这些更有价值的事情上。

他们和几十位重度Claude Code用户交流过,也见过各种各样的分析Agent设计模式,从中沉淀出了一套经验。这篇文章把这套方法拆解清楚了。


数据分析不是写代码

要理解分析Agent的挑战,可以先跟代码Agent对比一下。

写代码是一个开放的解题空间,模型的创造性在这里是加分项,文档和测试天然充当防止幻觉的护栏。分析查询不一样——往往只有一个正确答案,只来自一个正确的数据源,而且没有任何确定性的方式来证明答案是对的。

自助式业务数据分析,复杂性主要来自数据本身的模糊性。核心问题是:能不能把用户的问题准确映射到数据模型里具体的、最新的字段,并且知道怎么正确地使用它们。 如果这一步做对了,后面的SQL执行就是小事。

Anthropic总结出导致错误的三类主要失败模式:

一、概念与字段的映射模糊

数据模型里可能有几百个候选字段(乃至数百万个字段),Agent无法确定哪个最能回答用户的问题。比如统计活跃用户数:什么行为算活跃?要不要把欺诈用户算进去?回溯窗口用多长?

二、数据过期

数据源、业务定义、表结构在不断变化,Agent掌握的知识随之过期,开始给出表面看起来合理、实际上有偏差的答案。

三、检索失败

正确的信息可能就在数据模型里,也有完整的注释,但数据仓库的搜索空间实在太大,Agent就是找不到它。


Anthropic的分析Agent技术栈

针对这三类失败,Anthropic建了一套分层的数据技术栈,每一层专门对付一个或多个问题:

对付映射模糊 → 数据基础和可信数据源,把候选字段的范围收窄到唯一的权威答案

对付数据过期 → 维护和验证流程,让数据不会随着业务变化而腐烂

对付检索失败 → Skill,让Agent可靠地找到并正确使用那个权威答案

数据基础

确保分析Agent准确的最重要因素,是扎实的数据基础,包括数据仓库里的数据模型、转换逻辑、测试、表,以及描述它们的元数据。维度建模、左移测试、关键数据管道的新鲜度和完整性检查,这些传统的数据工程最佳实践依然重要,没有什么变化。

变化的是:数据模型的最终用户不再是数据专家,而是代表不同背景用户的Agent。 这带来一个挑战:结果的正确性无法依赖用户自己去验证,因为用户根本不了解底层。

有几个做法特别有效:

建立权威数据集。 最常见的失败,是Agent无法把一个概念(比如"产品X的收入")映射到唯一正确的表、列和指标定义,因为往往有多个候选项,实现方式细微不同。解决方法是:维护少量、受强治理的逻辑模型,明确归属、面向消费、可被发现,然后坚决废弃那些近似的重复数据集。物理上的汇总表和缓存表仍然有存在意义,但应该是从权威模型机械派生出来的,不能作为并列的替代选项。目标是:当Agent搜索某个概念时,只找到一个权威答案。

执行标准,不能只靠约定。 只有靠工具强制执行(Agent在结构上被引导先查权威模型)、靠CI强制执行(绕过权威模型的改动无法通过代码审查)、靠规定强制执行(下游团队必须基于权威层构建,否则需要说明理由),数据基础才能真正稳住。没有执行机制的治理,很快就会退回到多个候选数据集共存的问题。

把所有产出放到一个代码库里。 防御不断变化的数据模型和业务逻辑,最主要的手段是把代码放在一起。几乎所有数据代码——建模、语义层、参考文档、权威看板定义——都在一个代码库里,CI检查保护跨层的完整性。如果一个建模变更会破坏下游看板或让某个文档化的指标失效,CI会标记出来,修复在同一个PR里完成。

把元数据当成一等公民的产品来维护。 代码Agent表现好,部分原因是代码库本身是可读的:README、类型签名、注释等等。数据仓库也可以做到同样的可读性,但前提是列和表的描述、权威指标定义、粒度文档、有效值范围、数据血缘、归属信息和模型分级,都要像维护转换逻辑本身一样严格地维护。这不是新洞见,但好的治理确实给Agent提供了选择正确数据集的关键上下文。

可信数据源

数据基础是数据仓库本身,可信数据源是Agent用来在仓库里导航的参考界面。这一层的目标是消除概念与字段之间的映射模糊,把业务方问题里的"周活跃用户"转化成数据模型里一个具体的、受治理的字段。

按照可信程度从高到低,有四类:

1. 语义层

编译好的指标和维度定义。如果一个问题能干净地映射到某个已定义指标,Agent调用一个函数就能得到一个数字,和公司其他所有地方产出的数字一致。Agent被强制要求(通过Skill指令)优先使用语义层。

有一个尝试过但行不通的做法值得记录:用大模型根据原始表和历史查询日志自动生成语义层指标定义。结果是生成了看起来合理的定义,但这些定义把原本要消除的那些歧义都编码进去了。建议:用Claude来生成文档,但定义本身要由人来负责。

2. 数据血缘和转换依赖图

当语义层覆盖不到某个问题时,血缘关系和基于引用次数的表排名,可以让Agent推断哪些上游模型为某个概念提供数据、哪些已经废弃、哪些粒度相同。这把"我不知道这个指标"变成了"我知道应该从哪个受治理的模型里聚合"。

3. 查询语料库

来自看板、Notebook和历史分析的SQL。直觉上这应该很有价值:这是每一个已经被正确回答过的问题的记录。但实际上,直接给Agent访问数以千计的历史查询,准确率的变化不到一个百分点。 非结构化的检索无法把新问题映射到正确的历史案例上。真正有用的做法,是把这些查询语料提炼成结构化的、按领域划分的参考文档和可复用的分析模式,写进Skill。查询历史是用来整理的原材料,不是Agent直接读取的数据源。

4. 业务上下文

这是大多数团队跳过的一层,也是Anthropic自己低估最久的一层。不了解业务的Agent,会回答用户问的问题,而不是用户想要的答案。它不知道"Q2发布"指的是哪个具体产品,不知道两个团队对同一个术语的定义不同,也不知道某个问题是因为周四有董事会会议才被提出来的。Anthropic把公司知识图谱接入进来,包括索引过的文档、路线图、决策记录和组织架构,让Agent能够解析这些隐性引用,提出更好的澄清问题。

这四类来源的共同失败模式和数据基础层一样:文档差或者文档过期。 Claude在弥补这个差距上非常有用(起草列描述、根据查询模式生成指标文档、在CI中标记没有文档的模型),但整理和归属权由人来管理。

Skill

可信数据源是Agent的声明性知识(即指标是什么意思),Skill是它的程序性知识:按什么顺序查哪些数据源、如何处理模糊的数据、一个完整的分析应该是什么样子。

在Claude Code里,[Skill]是一个Agent按需读取的Markdown文件夹。

Anthropic自己的经验是:不加Skill,Claude回答数据分析问题的准确率在评测集上不超过21%。加了Skill之后,整体准确率稳定在95%以上,某些领域能达到99%左右。

几个关键做法:

成对创建Skill。 知识型Skill作为顶层的轻量路由器,根据需要加载更多领域细节。它告诉Agent:先试语义层,如果没有覆盖,这里有大约30个参考文件,描述了该领域的相关表、列、JOIN关系和注意事项。这个路由器本质上是对检索失败问题的解答:不让Agent搜索一个有数百万字段的仓库,而是在写任何查询之前,先把范围收窄到几十个经过整理的文件。

行动手册型Skill(Unbook)则编码了资深分析师会遵循的流程:澄清问题、找到数据源(通过知识型Skill)、跑查询、然后把结果交给对抗性审查子Agent循环检验。它还打包了十几个可复用的分析模式(留存曲线、增长率分解、漏斗分析),让常见需求不必每次从头来过。

写好参考文档。 参考文档是面向大模型检索写的。描述表的粒度、范围和排除条件;描述注意事项的具体机制(比如:排除已知的免费邮件域名,但保留像anthropic.com这样的自定义域名);加入明确的路由触发条件(比如:如果问题涉及实验提升效果,不要用原始事件计数)。不要写成容易过期的操作步骤。

下面是Anthropic用来创建大多数参考文档的模板框架:

# [领域] 数据表

## 快速参考

### 业务上下文 — [用大白话描述这个领域是什么]

### 记录粒度 — [一行记录代表什么]

### 标准过滤条件 — [该领域每个…
— 以上为试看内容(约 40%),开通会员后阅读全文 —