OpenAI 开源了两款用于危害分类的开源权重推理安全模型:gpt-oss-safeguard-120b 和 gpt-oss-safeguard-20b;这些模型接收开发者的策略文本和内容作为输入,返回分类标签和解释说明,让你可以用可审计的推理过程来执行自己的规则。
核心创新:这些模型将内容审核从固定分类器转变为基于策略的推理。修改规则就像编辑策略文本一样简单,无需重新训练、无需新数据集、无需新检查点。
因为策略是输入参数,你可以为不同产品、地区或年龄段切换不同策略,同一个模型就能遵循每一套规则。你还能获得解释说明,展示策略文本如何引导决策,这让审计和申诉变得更容易。
输出包含简短的推理依据,说明策略文本如何得出决策结论,大大简化了审查和申诉流程。
适用场景:这种方法在以下情况下表现出色:
- 风险是新出现的
- 训练数据稀缺
- 领域内容复杂微妙
- 需要高质量可解释的标签而非最低延迟
例如,论坛可以使用自己的定义来标记作弊言论,评论网站可以用自己的标准筛查虚假评价,只需编辑策略文本,无需收集数千个标注样本。
内部应用:在 OpenAI 内部,他们使用类似的工具叫 Safety Reasoner,通过强化学习微调来奖励符合策略的判断,让模型学会从策略文本进行推理。
这种策略让他们能快速更新生产环境中的安全规则,先从严格开始,然后根据实际情况放松或收紧,这个过程称为迭代部署。
他们还报告称,安全推理有时确实需要大量算力,在某些发布中,谨慎应用策略消耗了总算力的 16%。
实用架构模式:OpenAI 描述了他们内部技术栈的一个实用模式:先运行一个轻量廉价的分类器过滤明显安全的内容,只将少量棘手的项目发送给重量级推理模型。
Safety Reasoner 现已成为图像生成和 Sora 2 核心安全技术栈的一部分,逐步评估输出并实时拦截不安全的生成内容。
同样的分层检查机制在 GPT-5 和 ChatGPT Agent 等系统中根据详细分类法对输出进行分类,让平台能针对特定风险类别定制响应。
性能表现:多策略准确率测试(单个输入必须同时符合多个策略):
- gpt-oss-safeguard-120b: 46.3%
- gpt-oss-safeguard-20b: 43.6%
- 内部 Safety Reasoner: 52.2%
- gpt-5-thinking: 43.2%
这个指标很严格,只有模型在所有策略上都匹配黄金标签才算准确,是一个强调一致性的高标准。
OpenAI 2022 审核数据集:
- 两款 gpt-oss-safeguard…