Harness 与 Agent 工程 · 权限、身份与隔离 · 2025-10-30

OpenAI 开源了推理安全模型-gpt-oss-safeguard-120b 和 gpt-oss-safeguard-20b

OpenAI开源两款革命性安全推理模型,让内容审核像编辑文档一样简单灵活,大幅降低AI安全门槛。

核心内容:

  1. 模型创新:基于策略的推理机制,无需重新训练即可动态调整审核规则
  2. 应用场景:特别适合新兴风险、复杂内容等传统方法难以覆盖的领域
  3. 技术架构:分层处理机制与实时拦截系统在OpenAI产品中的实际应用

OpenAI 开源了两款用于危害分类的开源权重推理安全模型:gpt-oss-safeguard-120b 和 gpt-oss-safeguard-20b;这些模型接收开发者的策略文本和内容作为输入,返回分类标签和解释说明,让你可以用可审计的推理过程来执行自己的规则。

核心创新:这些模型将内容审核从固定分类器转变为基于策略的推理。修改规则就像编辑策略文本一样简单,无需重新训练、无需新数据集、无需新检查点。

因为策略是输入参数,你可以为不同产品、地区或年龄段切换不同策略,同一个模型就能遵循每一套规则。你还能获得解释说明,展示策略文本如何引导决策,这让审计和申诉变得更容易。

输出包含简短的推理依据,说明策略文本如何得出决策结论,大大简化了审查和申诉流程。

适用场景:这种方法在以下情况下表现出色:

例如,论坛可以使用自己的定义来标记作弊言论,评论网站可以用自己的标准筛查虚假评价,只需编辑策略文本,无需收集数千个标注样本。

内部应用:在 OpenAI 内部,他们使用类似的工具叫 Safety Reasoner,通过强化学习微调来奖励符合策略的判断,让模型学会从策略文本进行推理。

这种策略让他们能快速更新生产环境中的安全规则,先从严格开始,然后根据实际情况放松或收紧,这个过程称为迭代部署。

他们还报告称,安全推理有时确实需要大量算力,在某些发布中,谨慎应用策略消耗了总算力的 16%。

实用架构模式:OpenAI 描述了他们内部技术栈的一个实用模式:先运行一个轻量廉价的分类器过滤明显安全的内容,只将少量棘手的项目发送给重量级推理模型。

Safety Reasoner 现已成为图像生成和 Sora 2 核心安全技术栈的一部分,逐步评估输出并实时拦截不安全的生成内容。

同样的分层检查机制在 GPT-5 和 ChatGPT Agent 等系统中根据详细分类法对输出进行分类,让平台能针对特定风险类别定制响应。

性能表现:多策略准确率测试(单个输入必须同时符合多个策略):

这个指标很严格,只有模型在所有策略上都匹配黄金标签才算准确,是一个强调一致性的高标准。

OpenAI 2022 审核数据集:

— 以上为试看内容(约 40%),开通会员后阅读全文 —

原文出处:https://www.53ai.com/news/OpenSourceLLM/2025103073025.html