我最近看到了两个数字,它们之间的鸿沟大到足以让任何一个在AI行业里摸爬滚打的人感到一阵寒意。
第一个数字是53美元。一份来自OS-Harm基准测试的报告[1]显示,跑完一套自动化的AI安全评估,成本可以低至53美元,耗时不过5小时。这听起来简直是天赐福音,对吧?便宜、快速、结果漂亮,完美契合了当下这个“AI必须快”的时代精神。
第二个数字是2560万美元。这是跨国工程巨头Arup公司在2024年初实实在在被人骗走的金额[2]。骗子用AI深度伪造技术,在一次视频会议上完美扮演了公司的CFO,让一位财务人员在深信不疑中完成了15笔转账。
53美元的廉价测试报告,和2560万美元的真实损失账单。超过48万倍的差距。
我见过太多“固若金汤”的防御系统在一夜之间土崩瓦解。但从未像今天这样,廉价的虚假安全感与昂贵的现实风险之间的对比,来得如此赤裸和惊悚。我们正集体穿着一件价值53美元的“皇帝新衣”,却幻想着它能抵御价值千万的专业刺客。这让我必须把话挑明:整个AI行业,尤其是那些将身家性命押注于此的企业,正沉溺于一场极其危险的集体幻觉。
万亿赛道的集体狂奔:我们为AI安全签下了一张“空白支票”
让我们先别谈技术,谈谈钱。AI早已不是实验室里的玩具,而是董事会会议室里最重要的议题。
从a16Z的最新CIO调查[3]来看,企业AI支出正以每年75%的速度爆炸性增长,直接从“创新预算”挤进了“核心IT支出”。Salesforce的调查[4]也显示,84%的CIO认为AI的重要性堪比互联网的诞生。
在这样的狂热氛围中,“安全可靠”成了最值钱的商业承诺。尤其是在To B市场,当你要说服一家银行、一家医院或者一家律师事务所,把他们最核心的数据和业务流程交给你的AI Agent时,“安全”不再是一个功能点,而是整个交易的基石。客户愿意为此支付高昂的溢价,投资者也愿意为此给出更高的估值。
问题就出在这里。我们为“安全”这张昂贵的标签支付了真金白银,但衡量它的标准却拉胯得令人指。我们痴迷于在各种公开测试集上跑分,然后把那些接近100%的防御成功率、接近0%的攻击成功率,做成漂亮的图表放进PPT和新闻稿里,向世界宣告我们的AI固若金汤。
这就像什么?就像一家银行宣称自己的金库坚不可摧,理由是他们成功抵御了一群只会用19世纪撬棍的“模拟劫匪”,而对激光切割机和热成像仪的存在视而不见。我们正在为一种“纸面安全”支付真金白银。我们签下了一张金额巨大但保障条款模糊不清的“空白支票”。
“静态靶场”的致命诱惑:我们如何爱上了这个漂亮的谎言
为什么我们会集体爱上这个漂亮的谎言?答案简单得令人沮丧:因为它便宜、快、而且结果可预测。
这就是行业内的“魔鬼契约”。为了追求快速迭代和漂亮的营销数据,我们心照不宣地接受了在“静态靶场”里测试我们的AI防御。所谓“静态靶场”,就是那些固定的、公开的攻击测试集,比如HarmBench。这套流程就像是只让学生刷历年高考真题,然后就宣称他们能应对任何形式的考试。
这种做法的商业诱惑力是巨大的。正如我们开头看到的,跑一套自动化测试可能只需要几十美元和几个小时。相比之下,一次由真人专家主导的、严肃的红队渗透测试,起步价就是16,000美元[5],复杂的可能高达12万美元以上[6]。一个是几顿午饭的钱,一个是养活一个小团队一年的钱。如果你是CEO,你会怎么选?
更诱人的是,“静态靶场”能提供确定性。你知道输入是什么,也大致知道输出应该是什么,很容易就能生成那些让投资人、客户和市场都安心的漂亮图表。而真实的对抗充满了不确定性,结果可能是你的明星产品漏洞百出——这可不是你想在产品发布会前看到的消息。说白了,我们都在自欺欺人,因为真相太贵了。
于是,我们集体选择了那颗更甜的毒药。我们假装那些只会用“撬棍”的模拟劫匪就是最真实的威胁,我们假装靶场里的分数能代表真实战场的生存率。我们爱上了这个谎言,因为它让AI这趟高速列车看起来既快又稳。
当“专业刺客”入场:一场惨烈的“安防系统”公开处决
现在,是时候让“专业刺客”入场了。
2025年10月10日,一群来自OpenAI[7]、Google DeepMind[8]、Anthropic[9]等顶级AI实验室的研究员,联合发表了一篇名为《攻击者后手:更强的自适应攻击绕过LLM防御》[10]的论文。这篇论文的作者阵容堪称AI安全领域的“复仇者联盟”,其中包括Nicholas Carlini[11]这样的传奇“破防专家”。他们所做的,就是扮演了这个行业一直假装不存在的“专业刺客”角色,对我们引以为傲的“安防系统”进行了一次公开处决。
他们的武器,是一种被称为“强自适应攻击”的评估理念。这玩意儿的逻辑简单粗暴:别再用那些一成不变的“撬棍”了,要假设你的对手和你一样聪明,拥有充足的资源,并且会针对你的防御体系,不断调整和进化他们的攻击策略。
一言以蔽之,我们过去的评估方式是一个线性的、一次性的“产品质检”,而真正的安全评估应该是一个循环的、永无止境的“攻防演习”。
▲ 图1. 静态质检 vs 动态演习。 左侧的旧范式是一条死胡同,它永远无法发现未知威胁。右侧的新范式是一个永动的学习引擎,它唯一的目标就是找到系统的真实弱点。这正是两个世界的核心区别。
他们系统化地运用了四种攻击武器——梯度下降、强化学习、智能搜索和人类红队——然后,把它们对准了12个近期的主流防御方案。其结果,与其说是“测试”,不如说是一场“公开处决”。
结果是毁灭性的。
▲ 图2. 这张图无情地揭示了真相:在静态攻击下看似完美的防御(蓝色条),在自适应攻击(红色条)面前几乎全线崩溃。这不仅仅是数据的变化,这是对整个行业评估标准的公开处决。
这张图揭示了普遍的溃败,但…