Harness 与 Agent 工程 · 权限、身份与隔离 · 2026-06-04

测一测:你的 AI 安全知识,处在什么水位?

AI 安全知识盲区自查:从GCG攻击到NIST框架,测测你的专业水位在哪里。

核心内容:

  1. 涵盖四大难度与六大主题的AI安全知识测评体系
  2. 提供快速、标准、专项三种测评模式与能力分析
  3. 错题解析引导学习,生成个人知识结构“体检单”

如果你正在关注 AI 安全,或者准备进入这个领域,我想先问你几个问题。

你能说清 GCG 和 PAIR 这两类越狱攻击的关键差异吗?你知道 NIST AI RMF 里的四个核心 function 分别在解决什么问题吗?你是否理解,为什么在 Agent 场景里,只做输入输出内容审核,往往并不足以覆盖真正的工具调用风险?

如果这些问题你都能顺畅回答,说明你对 AI 安全已经有一定积累。如果答不上来也没关系,这恰恰说明你需要一个更系统的入口,帮你判断自己现在在哪一层、还缺哪一块。

所以这次,我想正式介绍一下我最近做的一个新东西:AI 安全知识测评。

它已经上线在模安局网站:https://moanju.org/quiz/

不是测AI安不安全,而是测你对AI安全了解多少

先说清楚,这个名字虽然叫“AI 安全知识测评”,但它测的不是某个模型安不安全,也不是对某个产品做红蓝对抗,而是测你自己的 AI 安全知识结构。

我把它做成了一个相对轻量、但不太“浅”的在线测评工具。

题库一共 60 道题,覆盖 4 个难度、6 个主题,既可以给刚入门的人一个方向感,也能让已经做了一段时间的人快速发现自己的盲区。

难度上,它从入门一直拉到前沿。

L1 更适合刚接触 AI 安全的人,L2 面向网络安全和 AI 工程师,L3 主要对应已经在这个领域工作的从业者和研究人员,L4 则更偏向资深研究者和长期关注前沿议题的人。

主题上,我把题目尽量分散到了模型安全、Agent 安全、数据安全、AI 治理、攻防对抗和基础概念这几个方向。

在形式上,它提供了三种模式。

更重要的是,这不是一个做完就结束的小测试。每一道错题后面,我都尽量补上了完整解析和关联文章,让题目本身变成一条学习路径。

你不是简单地被“判分”,而是在做题的过程中逐渐知道,这个领域的知识框架大概长什么样。

我更希望它像一张“知识体检单”

我一直觉得,AI 安全这个领域最麻烦的地方,不是没人写,而是材料太碎。

论文很多,政策很多,技术博客很多,评测框架也越来越多,但真正落到个人学习时,常常会出现一种很尴尬的情况:你以为自己看了不少,真要判断自己掌握到了什么程度,却很难有一个相对清晰的参照。

有些人熟悉越狱攻击,却不太理解治理框架;有些人懂内容安全和合规要求,但对 Agent 风险边界、工具调用控制和权限传播机制没什么感觉;还有些人看过不少论文,可一到工程语境里,就很难说清一项研究对实际产品意味着什么。

所以我做这个测评,不是想把它做成一种“考试”,而是更像一张知识体检单。你做完以后,最好能回答三个问题:我现在大概处在什么水平,我比较擅长哪一块,以及我接下来最应该补哪一块。

举个例子,题库里并不是那种只考术语定义的题。它会问你 GCG 和 PAIR 这种越狱攻击方法有什么关键区别,也会问你 Constitutional AI 是怎么工作的,EU AI Act Article 50 的透明度义务到底落在哪里,NIST AI RMF 的核心 function 如何理解,AgentDojo 评估的重点是什么,MCP Server 的权限边界为什么值得单独讨论。

这些题的价值不在于“记住一个标准答案”,而在于逼你把一个概念真正想明白。

这套测评,背后是整个模安局网站的内容积累

如果只是为了做一个在线答题工具,其实没必要花这么多时间。一套题库要想不空,前提是背后得有持续的内容积累。

过去半年,我一直在做一件事:把散落在论文、政策文件、技术博客、benchmark 仓库、行业报告和新闻稿里的 AI 安全信息,尽量整理成一个更有结构的中文站点。这个站点就是模安局:https://moanju.org

它不是百科,也不是新闻聚合器。我更愿意把它理解成…

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/AIpeixun/2026060452130.html