郭震 AI公众号:郭震AI

实时 AI 消息

OpenAI推出新图像分类器,ChatGPT将对试图获取CSAM的账号封禁24小时

TechCrunch报道,OpenAI上线了一款新的图像分类器,用于识别并阻断儿童性虐待材料(CSAM),同时改变了ChatGPT中的处置方式。按照新规则,试图访问此类内容的账号会被警告并封禁24小时。

发布时间
OpenAI推出新图像分类器,ChatGPT将对试图获取CSAM的账号封禁24小时
图源: techcrunch.com

TechCrunch于11月16日报道,OpenAI上线了一款新的图像分类器,目标直指儿童性虐待材料(CSAM)的检测与阻断。

与分类器配套的是ChatGPT层面的处置规则变化:当账号试图访问此类内容时,系统会给出警告,并封禁该账号24小时。

把警告做成用户可见的产品动作,而不只是后台静默拦截,是这次调整最值得注意的地方:用户会明确知道自己触碰了哪条红线,以及代价是什么。

24小时封禁属于阶段性处罚而非永久封号。平台通常把这一档留给初犯或意图不明的情形,把永久移除留给重复或明显故意的行为,这种分级本身也是治理思路的一种表态。

分类器承担的是识别环节。对生成式平台来说,难点在覆盖面:已知的违规素材是一类问题,变体、翻拍与对抗性改写是另一类问题,后者恰恰是分类器容易失手的地方。

TechCrunch的报道没有给出分类器的准确率、误报率,也没有说明其覆盖的图像类型范围。这些指标才决定它在真实流量里能否既挡住滥用,又不把审核员和普通用户淹没在误报中。

接下来是问责问题:OpenAI是否会披露拦截数量与申诉结果,以及其他生成式平台会不会跟进“警告加限时封禁”这套组合。检测能力与处置透明度的组合,往往比单次功能上线更能说明一家公司对内容安全的真实投入。

为什么重要

分级处罚把治理重心从单纯拦截转向可见的威慑与告知,也为其他生成式平台提供了一个可参照的处置模板。

微博邮件

OpenAIChatGPTSafetyPolicy
返回实时消息

附近消息

全部

11/17 01:02

OpenAI 让 Apollo 评估员进驻内部,专查模型是否试图「颠覆」自身管控

Apollo Research 11 月 16 日宣布,将以试点方式把六名安全评估员嵌入 OpenAI 内部,调查模型是否会设法破坏自身或后继版本的对齐与管控机制。OpenAI 按约定范围开放训练代码、数据集、强化学习轨迹与中间检查点,但保留以技术、安全或知识产权为由扣留信息的权利,评估的独立性因此受到质疑。

11/17 01:07

腾讯推出 Hy4 Flash:100 万 token 上下文,每百万 token 0.07 美元

据 Pasquale Pillitteri 报道,腾讯发布 Hy4 Flash 模型,支持 100 万 token 上下文窗口,定价为每百万 token 0.07 美元。超长上下文叠加极低单价,指向整库代码、长文档比对与长会话智能体等负载,但真实表现仍需第三方基准和上线信息来验证。

11/17 00:36

通义千问Qwen4-Max正式版上线:2.4万亿参数MoE,任务成本降近六成

据搜狐报道,通义千问Qwen4-Max正式版已上线,采用2.4万亿参数的MoE架构,并把任务成本压低近六成。相关报道同时提到该版本支持100万token上下文,定位为面向长文档与复杂任务的旗舰模型。

11/17 00:07

报道称 OpenAI 曾探讨以逾 50 亿美元收购可解释性初创公司 Goodfire

据 The Information 报道,OpenAI 曾就收购 AI 可解释性初创公司 Goodfire 展开探讨,讨论中的交易金额超过 50 亿美元。这一消息把长期偏研究导向的模型可解释性领域,推到了大额并购的讨论中心。