SkillSieve:Agent skill安全检测三层框架
在 Agent 生态里,Skill 正在变成一个很现实的新攻击面。原因很简单,今天很多 Agent 都靠 Skill 扩展能力,一个 Skill 往往既包含 SKILL.md 里的自然语言说明,也可能带着脚本、依赖和权限声明。
它看起来像一个“小插件”,但实际拿到的是 Agent 的执行能力、环境变量访问能力、文件系统访问能力,甚至网络请求能力。
今天介绍的论文就指出,OpenClaw 的 ClawHub 上已经有超过 1.3 万个社区 Skill,而且已有多轮审计发现其中相当比例存在恶意或高风险问题。
https://arxiv.org/pdf/2604.06550
而他们关注的,正是这样一个问题:
面对同时包含“自然语言指令”和“可执行脚本”的 Agent Skill,怎样在成本可控的前提下,把真正危险的 Skill 更稳定地识别出来?
作者给出的答案叫 SkillSieve。
它不是把所有 Skill 都一股脑丢给大模型审,而是设计了一条三层分诊流水线:先用低成本静态分析做快速筛查,再把可疑样本拆成几个语义维度交给大模型判断,最后只对高风险样本启用多模型“陪审团”复核。整套方案在 400 个人工标注样本上做到 0.800 的 F1,明显高于基线 ClawVet 的 0.421。
Agent Skill 的安全检测比普通插件更麻烦
传统软件包安全扫描,主要看代码。
但 Skill 不一样。它天生是“双模态”的:一部分风险藏在代码里,比如窃取密钥、外传数据、下载执行;另一部分风险藏在文字说明里,比如提示注入、权限诱导、社会工程、跨文件分工式恶意逻辑。
论文明确指出,正则和静态分析工具很难理解 SKILL.md 里的自然语言意图,而只靠一个 LLM 做整体判断,又容易被“包装得很正常”的恶意 Skill 绕过去。
这也是这篇论文的切入点:
Skill 安全,不只是代码扫描问题,也是说明文档、权限声明、实现逻辑三者是否一致的问题。
先分诊,再深挖,再复核
SkillSieve 的整体架构很像现实里的安全运营流程。
第一层先做便宜、快、偏高召回的初筛;
第二层再对可疑样本做更细的语义分析;
第三层只处理最难、最模糊的高风险样本。
论文里给出的数据也很清楚:Layer 1 平均每个 Skill 处理时间不到 40ms,能在零 API 成本下先过滤掉约 86% 的总量;剩下约 14% 的可疑样本再进入 Layer 2;只有更高风险的一小部分才继续进入 Layer 3。
这个设计的意义很大。因为在真实工程里,大模型不是不能用,而是不能乱用。如果每个 Skill 都直接丢给 LLM,成本、时延和稳定性都会成为问题。SkillSieve 把“该不该深查”这件事先做了一次分流,所以后面的高成本分析才有了可落地性。
第一层:用静态分析做“高召回分诊”
论文里的第一层叫 Static Triage,可以理解成“静态分诊”。
它的目标不是把所有恶意 Skill 一次判死,而是尽量把真正危险的样本先捞出来,不要漏掉。论文明确说,Layer 1 的设计目标是高召回、低成本,宁可先多抓一些可疑样本,也把后续判断留给更深层分析。
这一层主要用了四类信号:
1. 正则规则
扫描 Skill 中所有文件,匹配大约 60 条规则,覆盖反弹 shell、凭证窃取、数据外传、代码混淆、提示注入关键词等类别。
2. AST 结构特征
解析 Python、Bash、JavaScript 等脚本,提取系统调用、网络调用、环境变量访问、动态执行、编码字符串、高熵常量等结构化特征。
3. 元数据信誉信号
从 SKILL.md 的 YAML 头信息里抽取名字相似度、是否申请敏感环境变量、是否依赖危险二进制等信息,用来识别仿冒和高风险权限请求。
4. SKILL.md 表面统计特征
例如外链数量、权限请求次数、敏感路径提及、催促性或隐瞒性语言密度、说明长度与描述长度的比例。
这里有一个很值得注意的细节。论文一开始确实训练了一个 XGBoost 分类器,在交叉验证里 F1 能做到 0.959;但真正到更异质的 400 个样本基准上,泛化反而不如启发式打分,最终正式结果采用的是启发式风险评分,而不是纯模型分类器。作者给出的原因是,训练集中的恶意样本过于集中在少数已知攻击者的风格上,导致模型更像在学“作者特征”,而不是学“恶意行为本身”。
这个点很关键。它说…