郭震 AI公众号:郭震AI

实时 AI 消息

OpenAI开源青少年安全策略包,配套gpt-oss-safeguard使用

OpenAI发布一组基于提示词的青少年安全策略,可直接配合其开放权重安全模型gpt-oss-safeguard使用。首批策略覆盖血腥暴力内容、危险活动与挑战、浪漫或暴力角色扮演等六类风险,并以开源方式通过ROOST模型社区发布。

发布时间

OpenAI发布了一组基于提示词(prompt)的青少年安全策略,目标是帮助开发者为自己的产品建立适合年龄的保护措施。这些策略被设计为可直接与开放权重安全模型gpt-oss-safeguard配合使用,把高层的安全要求转化为能在真实系统中运行的分类器。

首批策略覆盖六类风险:血腥暴力内容、露骨性内容、有害的身体理想与行为、危险活动与挑战、浪漫或暴力角色扮演,以及年龄受限的商品与服务。它们既可用于实时内容过滤,也可用于对用户生成内容做离线分析。

之所以要做这件事,是因为分类器再强也依赖清晰的定义。OpenAI在文中指出,开发者面临的最大挑战之一,是写出既能准确捕捉青少年特有风险、又能在真实系统中一致执行的策略。即使是经验丰富的团队,也常难以把高层安全目标翻译成可操作的规则,结果造成保护缺口、执行不一致或过滤过宽。

以提示词形式发布的策略,更容易接入现有工作流,开发者也可以按自身场景调整并持续迭代。OpenAI强调,这些策略是与外部机构共同打磨的:Common Sense Media和everyone.ai参与了内容范围界定、提示结构强化,以及评估时需要考虑的边界案例梳理。

Common Sense Media的Robbie Torney在随附评论中说,青少年AI安全最大的缺口之一,是缺少开发者可以直接起步的可操作政策,“很多情况下开发者都是从零开始”。他认为这些开源策略为整个生态设定了一个有意义的安全底线。everyone.ai首席科学家Mathilde Cerioli则表示,政策是重要的第一步,也为研究模型行为如何影响青少年相关风险打开了空间。

OpenAI同时划定了边界:这些策略是起点,而不是完整方案或安全保证。每个应用的风险、受众和语境都不同,开发者最了解自身产品可能带来什么问题,应在此基础上扩展策略,并结合产品设计、用户控制、面向青少年的透明说明和监控系统等手段,采用纵深防御的思路。

发布渠道同样值得注意。策略以开源方式通过ROOST模型社区发布,进入RMC的GitHub仓库,鼓励开发者提交反馈、贡献新的青少年安全策略、翻译成不同语言并扩展到更多风险领域;gpt-oss-safeguard模型本体则可在Hugging Face上下载。

这一动作的背景,是OpenAI在青少年保护上的一整套布局:更新Model Spec并加入18岁以下(U18)原则,推出家长控制与年龄预测等产品级防护,还通过Teen Safety Blueprint呼吁行业共同建立保护标准。策略包是这套工作的开放侧延伸。

后续值得观察的是生态反应:策略包能否被中小开发者真正用起来,六类风险之外会不会出现社区贡献的新分类,以及这种“提示词即政策”的模式能否成为开放权重模型安全部署的通用做法。

为什么重要

OpenAI把青少年安全从自家产品规则变成可复用的开源基础设施,若被广泛采用,将实质抬高开放权重模型面向未成年人的默认安全下限。

微博邮件

OpenAIAI SafetyOpen Source
返回实时消息

附近消息

全部

11/01 02:35

埃森哲承包商被指让Claude智能体接入五角大楼非机密网络

网络安全媒体援引《连线》报道称,一名埃森哲员工把个人Claude账号接入美国国防部存放受控非机密信息的生产环境,让AI智能体代写并部署代码,智能体在网络上运行约两个月后才被发现并修补。埃森哲称指控已被独立调查并认定没有依据,五角大楼则拒绝评论其网络状态。

11/01 01:13

尼日利亚Verve计划推出手机拍付,并让AI助手代为付款

尼日利亚最大银行卡组织 Verve 的首席执行官 Vincent Ogbunude 表示,公司计划推出手机拍付,并最终允许 AI 助手代表用户完成付款。这一路线图在 Moonshot by TechCabal 大会上公布,Verve 目前发卡量已达 1.3 亿张,但公司尚未给出具体上线时间。

11/01 01:01

奥特曼称本地 AI 推理“相当糟糕”,全球 DRAM 短缺加剧路线之争

OpenAI 首席执行官 Sam Altman 在播客访谈中称,从全球资源分配角度看,让每个人在本地电脑上跑 AI 推理“相当糟糕”。在全球 DRAM 短缺、内存成为稀缺资源的背景下,他认为算力与内存应优先集中在云端,这一表态也折射出端侧 AI 与云服务之间的路线之争。

11/01 00:50

微软开源 Mage-VL-Cowork:40 亿参数电脑操作智能体,OSWorld 达 66%

微软发布电脑操作智能体 Mage-VL-Cowork,模型仅有 40 亿参数,却在 OSWorld-Verified 基准上取得 66% 的成绩。报道称这是 4B 级别的最好水平,微软同时公开了权重、代码与技术报告,按 Apache 2.0 许可发布。