anthropic 也做过 Chat BI?一起看看他们的数据工程咋做的吧~
A 社起名字真是一把好手,self service data analytics,说白了,这就是我们常说的 Chat BI。
这篇文章讲了三件事:会遇到什么样的问题、如何解决、最终达到了什么样的效果。读下来,还是非常具有参考意义的。一起看看吧~
本文大纲 | 全文共 3930 字
• 先聊聊背景:一个三年了还没解决的老问题 • 第一个问题:数据基础层怎么建? • 首当其冲:建立权威数据集 • 第二步:用程序代替人/Agent来守规矩 • 第三步:把所有产出放进同一个代码库(Scope 里) • 第四步:把元数据当成一流产品来对待 • 第二个问题:查询时到底依赖哪些数据源? • 第一层:语义层(信任度最高,简练同时也比较耗人力) • 血缘与转换图 • 查询语料库(理论很美,现实打脸) • 业务上下文(最容易被忽略,但很关键) • Skill:Agent 的"操作手册" • 最后一关:验证 • 写在最后
先聊聊背景:一个三年了还没解决的老问题
ChatBI 其实就是查数。我记得 2023 年大量 AI 应用涌现的时候,最先落地的就是这个场景。时间过去了三年,模型也迭代了很多版本,但这个问题依然没被解决,也依然很重要。
为什么重要? 因为这个需求真的太普遍了——谁不想实时、准确、快速地查到自己关注的数据?
为什么难? A 社总结了三个难点:
• 概念与实体的模糊:数据模型里有成百上千个可选项(甚至是数百万个字段),Agent 根本不知道该选哪个字段才能回答用户的问题。举个例子,统计"活跃用户数"——什么行为才算"活跃"?要不要算上欺诈用户?回溯窗口取多长? • 数据过期:数据源、业务定义、表结构天天在变,资产和 Agent 的知识慢慢就过时了,开始返回那种"看起来对、其实悄悄错了"的答案。 • 检索失败:正确的信息其实就在数据模型里,标注也很完整,但搜索空间太大,Agent 就是找不到它。
我们在帮企业落地的过程中还发现一个 A 社没单独列出来的问题——脏数据,也就是数据质量本身就有问题。不过不用担心,后文里 A 社也给出了对应的解法。
那么问题来了:面对这三个难点,A 社到底是怎么逐一拆解的?
简单概括一下他们的思路:
• 数据模糊 → 建立标准的数据基础层,让数据语义干净隔离,同时建立有层次、可溯源的数据层,层层递进。 • 数据过期 → 用一套 harness 标准强制维护数据。 • 检索失败 → 用标准流程来规范(标准查询流程、知识检索流程、标准查数流程)。
下面我们一层层往下看。
第一个问题:数据基础层怎么建?
既然要让 Agent 查得准,第一步该从哪下手? 答案是:先把地基打好。
首当其冲:建立权威数据集
本质就是先治理一下数据。要想真正在数据查询上做到更高水平的准确率,抛弃脏、乱、差的原始数据,是绕不开的第一步。
不用想,你们公司里那些日常查询用的数据,经常被一次次无计划地修改,改得面目全非。带来的最常见问题就是——同一个指标可能在多个表里都存在,而且数值还不一样。
所以 A 社的建议很直接:先治理。治理的目标只有一个,让一个概念对应一个权威答案。
第二步:用程序代替人/Agent来守规矩
数据好不容易治理干净了,怎么保证它不再被弄乱?
一个很直白的道理 —— 如果人能自我约束,那一开始数据就不会乱成这样了,我们必须尽量替代人在维护数据中工作。
所以 A 社建议,用一段段程序来代替人、也代替 Agent(因为程序执行不会出错)。本质上就是:在对准确性要求极高的地方,用可解释的程序,替代不可靠的"人"和黑盒的"Agent"。具体落地就是工具强制路由、CI 卡审查、外加团队的强制约定。
第三步:把所有产出放进同一个代码库(Scope 里)
在一个动态、庞大的系统里,怎么才能感知到一个指标的变化?
A 社的做法是——把所有产出(建模、语义层、参考文档、看板定义)都放进同一个代码库。这相当于给人和 Agent 一个更全局的视野。建模一改,如果会破坏下游看板或某个指标定义,CI 当场就会报警,修复也在同一个 PR 里完成。
第四步:把元数据当成一流产品来对待
地基都就位之后,剩下的就是在查询过程中给 Agent 准备一张精准的地图,也就是 metadata。
可以理解成 Agent 查询过程中的"基础设施",也是前面所有工…