面向复杂业务场景的智能分析 Skills 架构设计与演进实践
过去一个月,我们在搭建一个面向本地生活业务的分析类 Skill,让 AI 能像资深分析师一样做经营诊断、归因拆解和趋势预测。业务覆盖几十个行业,每个行业有独立的经营框架和指标体系,复杂度远超一个 prompt 能承载的范围。
搭建过程中,我们经历了三次架构重构(V1 → V2 → V3),每次都是被真实问题逼出来的。这篇文章完整复盘了这个演进过程,最终提炼为六条 Skill 架构设计原则。
如果你正在搭建领域知识密集型 Skill,或正面临「prompt 越写越长但效果越来越差」的困境,这篇文章或许能够提供一些思路。每章独立成节,可按需跳读。
01
大部分团队搭建 Skill 的路径都类似:大 prompt → 打补丁 → 越来越长 → 没人敢改。我们绕过了大 prompt,但踩进了另一个坑,那就是用软件工程思路做分层解耦,结果过度工程化。
Skill 的能力上限不取决于模型,取决于你喂给它的知识架构。
设计直觉
我们面对的业务场景有几个特点:覆盖几十个行业,每个行业有独立的经营框架和指标体系;分析方法涉及归因、趋势、预测、漏斗、分层等十几种;输出形式从日报到诊断报告到决策备忘各不相同。
一个 prompt 显然装不下。所以我们很自然地借用了软件工程的经典范式:分层解耦,把 Skill 拆成三个独立的知识池:
K 池(Knowledge):负责管理业务知识。行业概览、规则口径、运营抓手、关键事件、外部因素,每个行业在 K 池下都有独立的子目录。
A 池(Analysis):负责管理分析方法。从宏观的问题定性(“这是什么类型的问题”),到中观的分析框架(“按什么维度拆解”),再到微观的具体方法(“用什么算法归因”),分成三层。
E 池(Expression):负责管理输出。按场景设计了 20 多个模板,从异常告警到月报到诊断报告到决策备忘全部覆盖。
层间通过标准化的接口契约通信——K 池组装好知识包给 A 池,A 池产出分析结论包给 E 池。看起来架构清晰、职责分明。
跑起来之后
V1 上线跑了不到两周,我们就发现了三个结构性问题:
上下文爆炸。一个行业的知识被打散到 K 池的多个子目录里,一次分析要跨三层拉十几个文件,context 窗口直接装不下。根因是知识碎片化,LLM 需要在一个视野内看到连贯的行业知识才能做准确推理,但 K/A/E 架构把它们分散在了几十个文件里。
过度工程化。层间接口契约、版本解析器、schema 校验,这些在传统软件工程中都是好实践,但 LLM 不是微服务,它不需要序列化的数据包在层间传递,它需要的是在一个 context 里看到足够的信息做推理。
流水线假设不成立。K→A→E 假设信息是单向流动的,但真实的分析过程是交织的。分析到一半需要补充知识,输出时发现结论要修正。流水线切断了这种交互。
认知转变
V1 让我们意识到一件事:LLM 的知识组织范式和传统软件架构根本不同。
传统软件追求模块化、接口标准化、关注点分离。这些原则在 LLM 场景下不是完全失效,而是需要重新定义“正确的分离方式”。分层的目的是让模型在需要的时候能拿到完整的上下文,这和微服务架构里「每个服务只看自己的数据」的理念正好相反。
这个认知逼出了 V2 的重构方向:知识收拢、按需加载、做减法。
02
重构原则
V2 的重构,我们围绕三条原则展开:
知识收拢。一个行业的知识不再分散到多个子目录,而是收拢到一个独立的文件里:业务模式、核心公式、经营框架、指标体系、诊断起点,一个文件看全貌。LLM 加载一个文件就能获得足够的行业上下文。
按需加载。不在启动时把所有知识全量灌入 context,我们根据用户的问题动态决定加载哪些文件。一个简单的口径问题只需要加载行业文件;一个复杂的归因分析才需要追加分析框架和方法文件。
做减法。砍掉接口契约、版本解析器、schema 校验等工程设施。V1 的 100 多个文件被重新组织为 40 多个结构清晰的文件。工程复杂度大幅下降。
路由层的诞生
按需加载的前提是有一个可靠的路由机制:Skill 需要先判断「用户在问什么」,再决定「加载什么知识」。
入口文件从 V1 的「三层 orchestrator」变成了单一路由入口,承担三级路由职责:
域路由:判断用户问的是哪个业务域。不同域有不同的分析框架和指标体系,域判断是第一步。
行业路由:在域内映射到具体的行业。通过关键词匹配和歧义消解规则,把用户提问映射到对应的行业知识文件。
问题分类:判断问题类型:“是什么”(知识类)、“为什么”(分析类)、“怎么做”(方法论类),决定加载哪些 reference 文件。
举个例子:用户问“某行业 XX 指标为什么降了”,三级路由依次命中业务域、具体行业、“分析类”问题,于是加载行业文件 + 分析框架 + 归因方法;而“XX 口径怎么定义的”只需要加载行业文件。
路由层真正有技术含量的部分是处理歧义和兜底。几十个行业的关键词不可避免地会重叠,我们的做法是:先看上下文有没有行业锚点,有就走行业路由,没有就走横向职能,还判断不了就询问用户。完全没命中时,加载通用兜底文件作答。
本质上,路由层是用路由逻辑换 context 效率,用少量路由 token 换取大幅减少无效知识加载,按需组合替代全量灌入。这是 token 经济性的第一个体现。
效果与新问题
V2 上线后,收拢解决了知识碎片化问题,按需加载有效控制了 context 占用。分析质量明显提升。
但只跑了一周左右,新的问题就浮现了:重构的保质期比我们想象的短得多。行业文件越写越胖。
原因很直接。收拢意味着一个行业的所有知识都包含到一个文件里。经营框架是稳定的,核心公式是稳定的,但季度策略打法在变、竞争格局在变、运营抓手在变、关键事件在持续发生。这些内容不断追加到同一个文件中,部分行业文件膨胀到了数百行。
维护者的痛苦很具体:改一个运营策略要翻完整个文件才能找到位置;业务规划周期更新时不知道哪些该改哪些该保留;几十个行业文件逐个检查更新,效率极低。
我们意识到:收拢 ≠ 全塞一个文件,需要找到更精细的组织方式。
03
问题本质
行业知识不是铁板一块,我们仔细观察就会发现,这些知识有着截然不同的变更频率:
稳定知识(低频变更):经营框架、核心公式、指标定义、业务模式。这些内容可能一两年才调整一次,甚至更久。
时效知识(高频变更):策略打法、竞争格局、运营抓手、关键事件、口径规则。这些内容每个季度甚至每个月都在变。
V2 把它们塞进同一个文件,导致了两个实际问题:
更新时效内容时容易误改稳定内容。维护者在一个几百行的文件里找某条策略,可能不小心改动了旁边的经营框架定义。
文件膨胀让维护者看不过来。一个行业的策略、竞争、事件、口径全堆在一起,到底哪些是这次该改的、哪些不该动,需要人肉判断。几十个行业乘以每次更新的判断量,工作量指数级增长。
分离方案
V3 的核心设计决策是按变更频率分层,把行业知识拆成两层存储:
瘦行业文件(稳定层)。每个行业一个文件,只保留低频变更的内容:经营框架、核心公式、指标定义、业务模式。精简到百行级,打开就是这个行业的全景概要,一眼看全貌。
主题文件(时效层)。按知识主题(而非按行业)组织高频变更的内容。比如所有行业的策略打法放在一个主题文件里,所有行业的竞争格局放在另一个主题文件里。每个主题文件内部按行业分段管理。
这带来了三个直接收益:
写入效率:更新某一类时效知识时(比如全部行业的季度策略),只需要打开一个主题文件,逐段修改即可。不用打开几十个行业文件逐个翻找。
维护清晰度:行业文件瘦身超过 60%,从 10000 多行压缩到 3000 多行。维护者能快速定位内容,误改稳定内容的风险大幅下降。
生命周期独立:稳定内容和时效内容可以分别管理。策略刷新时只改主题文件,不碰行业文件;经营框架调整时只改行业文件,不碰主题文件。
加载策略的配套设计
知识存储分了两层,加载策略也要跟着调整;关键设计在于跨行业集中管理,但按行业分段加载。
一个主题文件可能有几千行,覆盖所有行业的策略打法。但单次请求时,路由层只加载其中目标行业的那一个段落,token 消耗控制在几百以内。大部分简单问题只需要加载瘦行业文件就够了,只有涉及策略、竞争等时效性话题时,才按需追加对应主题文件的对应段落。
这个设计背后有一个关键洞察:写入和读取的最优粒度不一样。维护者的视角是“一个文件改完所有行业”(写入效率),LLM 的视角是“只看一个行业的段落”(读取效率,即 token 效率)。同一个物理文件,通过分段加载策略同时满足了两边的需求。
一个具体的例子
此处我用一个虚构的行业来说明分离前后的差异…