我们用150个任务测试了30个skill,跑出7个反直觉结论
2026上半年,skill数量井喷。很多公司在把所有的内部工作流程skill化,给大模型加上一个skill,模型就被期待能“立刻变专业”。
但当Skill数量从十几个膨胀到几百个,一个朴素的问题被反复提起:
装上Skill,是不是真就一定更强大?
带着这个疑问,我们在TRACE严选评测中做了系统化的实验。我们没有采用“看下载榜”或“跑一次给个分”的轻量做法,而是在统一的prompt、统一的裁判和统一的评测口径下,让每个Skill与“裸模型”(no-skill)跑完150 组任务级对比、30个Skill的成本与稳定性、107 条规范性问题、以及一轮跨模型推理强度的可迁移性测试。
关于TRACE严选评测的详细介绍,可以查看《3张图、5000字,认真聊聊什么才是好的skill》。
在持续评测Skill的过程中,我们整理出7个最值得关注的发现,并将相关实验数据、评测过程和机制解释集中公开。其中很多结论,出乎我们的意料。
01
有Skill不一定效果更好
我们装Skill的最初想法,是让大模型或通用Agent,获得更强的某方面的专业能力。但是在实验中,第一个被推翻的直觉,正是“装了skill就更好”。
在150组任务级对照中,Skill组共胜出62次(41.3%) ,no-skill组胜出55次(36.7%) ,平局33次(22.0%)。Skill组只是略占优势 ,远谈不上压倒性。
更关键的是,差异在Skill之间剧烈分化:
· 稳定带来正增益 的Skill包括:data-analysis、multi-search-engine、baoyu-cover-image 等;
·不如裸模型 的Skill:note-taker、fliggy-travel-planner、meeting-minutes等。
为什么会这样?把胜负样本数据一条条翻下来,规律其实很清晰:当Skill真正补充了模型裸能力之外的东西,比如一个清晰的输出结构、一组外部工具、一条受约束的工作流,或一份具体可交付的产物,它就是有用的;当 Skill 只是把模型本来就会的事情再“用 Markdown 重写一遍”时,它带来的更多是负担而非增益。
02
Skill 存在虹吸现象
我们在 Skill 路由实验中观察到一个现象,可以称为 “Skill 虹吸 ”:有些请求本来很轻,裸模型直接回答就够了,但只要语义上贴近某个 Skill,系统仍可能忍不住去读取这个 Skill。
为了区分两件事,我们设计了三类请求:
第一类是普通适用请求 :用户意图很明确,本来就应该触发目标 Skill。
第二类是边界适用请求 :用户请求仍然应该触发目标 Skill,但语义上更接近相邻 Skill,用来观察相近 Skill 是否会互相干扰。
第三类是本应no-skill的请求 :任务很轻,理论上裸模型直接回答即可,不应该调用任何 Skill。
结果显示,系统在“该用 Skill”时表现很好:普通适用请求的正确触发率为 99.0%(891/900),边界适用请求也达到 96.0% (288/300)。这说明它不是普遍找不到正确 Skill。
真正的问题出现在“不该用 Skill”时:90 条本应 no-skill 的请求里,有 12 条仍读取了某个 Skill,过度调用率为 13.3% (12/90)。
两个例子很直观:
· 用户说:“不用上网,帮我想 5 个适合检索‘办公室绿植养护’的中文关键词组合。”
这本来只是关键词头脑风暴,但“检索”“关键词”把它吸进了搜索类 Skill(multi-search-engine)。
· 用户说:“把这句话改得更自然:我们通过更好的客户沟通来创造长期商业价值。”
这本来只是单句改写,但“客户沟通”“商业价值”让它看起来像营销任务,于是被吸进了营销类 Skill(marketing-skills)。
因此,“Skill 虹吸”不是路由系统乱触发,是一种更具体的偏差:该用 Skill 时,它很会召回;不该用Skill时,它有时不够克制 。 当请求只是简单改写、短语生成、概念解释或轻量模板时,只要出现 Skill description 中的相关领域词,就可能被吸进某个 Skill。
这种副作用会带来额外上下文和潜在 token / 时间成本,也会让本来一句话能完成的任务,被套进更重的专门工作流里。
03
多数Skill并不能节省token与时间
为了回答“装上 Skill 后是否更贵?”这个问题,我们定义了两个指标:
· token 倍率 = skill 组平均每任务 token / no-skill 组平均每任务 token;
· 耗时倍率 =…