郭震 AI公众号:郭震AI

实时 AI 消息

OpenAI 发布首份社区安全报告,并收紧青少年枪械内容与暴力对话干预

OpenAI 10月30日宣布,将自2027年初起每半年发布一份社区安全报告,披露其模型如何识别与处置暴力风险。同时,ChatGPT 将限制对既往大规模袭击的细节复述,并对未成年用户进一步收紧武器相关信息,相关防护将在未来几周逐步上线。

发布时间

OpenAI 在10月30日发布公告,宣布两项与暴力预防相关的举措:一是建立定期的《社区安全报告》制度,二是进一步限制未成年用户可获取的枪械与武器相关信息。公告同时披露,公司在2026年第三季度向执法机构转介了超过200起迫在眉睫的暴力威胁。

按照公告,首份社区安全报告将于2027年初发布,覆盖2026年下半年,此后每半年更新一次。报告将说明 OpenAI 如何训练系统去发现、调查并回应社区安全问题,并公开经过匿名化处理的案例、新采取的缓解措施、政策变化以及支撑结论的相关数据。

OpenAI 强调,AI 公司在这类问题上只是多方协作中的一环,执法部门、家庭成员、心理健康专业人士和政策制定者拥有其无法替代的权限、背景信息与现实触达能力。公司称将继续依靠心理健康与行为专家协助评估疑难案例。

在模型行为层面,OpenAI 收紧了所有用户都能感受到的边界。对于既往大规模袭击及其实施者,ChatGPT 将提供更少的细节,即便这些信息在其他公开渠道可以查到;对武器与装备如何使用、如何获取的重建性描述,以及可能放大施害者知名度的危害规模比较,都将受到限制。这些限制不区分用户年龄,也不问提问理由。

公告还提到对预警信号的响应。继今年5月引入对敏感对话上下文的简短事实摘要之后,ChatGPT 在近期对话出现暴力预警信号时,会对可能被滥用的信息采取更保守的回答;当系统预测用户未满18岁时,即便没有暴力意图迹象,也会适用更严格的限制。

更进一步的措施针对持续性的暴力沉迷。当对话显示有人正沉迷于暴力或严重伤害他人的念头时,ChatGPT 将能够自动结束对话,以在当下打断这种模式;如果因此多次结束对话,账户可能被临时暂停。OpenAI 表示正在与心理健康和暴力预防专家合作,探索更早的自动化干预方式。

面向未成年人的部分,ChatGPT for Teens 在既有年龄适配保护之上,进一步限制武器与安防系统中可能被用于暴力的实用信息,即使提问看起来无害。青少年仍可用它寻求支持、帮助化解冲突,或联系可信赖的成年人。年龄预测系统会持续评估新的行为信号,被误判为未成年的用户可通过年龄验证合作方 Persona 快速恢复成人体验。

家长控制方面,关联账户已包含由专门审核人员触发的安全提醒;今年7月,OpenAI 将提醒范围扩展到青少年账户因违反暴力相关使用政策而被停用的情况,并计划在青少年账户因反复讨论暴力被暂停时也通知家长。OpenAI 称上述防护将在未来几周开始逐步上线,后续仍会迭代。报告能否按时、按质地公开,以及自动结束对话的准确率与误判申诉机制,将是接下来最值得观察的部分。

为什么重要

这是 OpenAI 首次把暴力预防做成可定期审计的公开报告制度,也把干预从过滤单条内容推进到读取整段对话并主动终止。对同行而言,透明度承诺能否兑现,与自动干预的误判成本,将同时成为监管追问的焦点。

微博邮件

OpenAIChatGPTSafety
返回实时消息

附近消息

全部