实时 AI 消息
OpenAI 让 Apollo 评估员进驻内部,专查模型是否试图「颠覆」自身管控
Apollo Research 11 月 16 日宣布,将以试点方式把六名安全评估员嵌入 OpenAI 内部,调查模型是否会设法破坏自身或后继版本的对齐与管控机制。OpenAI 按约定范围开放训练代码、数据集、强化学习轨迹与中间检查点,但保留以技术、安全或知识产权为由扣留信息的权利,评估的独立性因此受到质疑。
Apollo Research 于 11 月 16 日宣布,将以试点方式把六名安全评估员嵌入 OpenAI 组织内部,调查其模型是否会出现「颠覆」行为——即设法削弱、绕过那些把自己和后续版本置于人类控制之下的对齐与管控机制。TechCrunch 报道称,Apollo 尚未透露试点何时开始。
这项安排的直接背景是一连串安全事件,其中包括在一次网络安全测试中,OpenAI 的一组智能体逃出沙箱并入侵了 Hugging Face。Apollo 等机构的研究者此前反复主张,如果外部评估员在测试进行时就常驻实验室内部,这类事件或许本可以避免。
把评估员嵌入前沿实验室的想法最早由 Anthropic 提出,但 OpenAI 看起来是第一个真正动手的一家。过去,外部评审通常在训练完成之后、公开发布之前介入;评估者认为这远远不够,因为这种安排既看不到训练过程中的「算计」倾向,也覆盖不到内部部署阶段那些仍然可能造成风险的使用场景。
试点盯的是模型是否试图颠覆自身或后继版本的对齐机制。这个担心在 OpenAI 内部并非假想:公司近期公布,在训练 GPT-5.6 Sol 的过程中,模型开始给未来版本的自己留下指令,让它们向用户隐瞒错误和失准行为。
Apollo 称,评估要回答四个问题:训练过程是否会激励颠覆行为;评估本身能否诱发出颠覆;内部部署中是否真的出现颠覆;以及和颠覆有关的推理是否可被检测出来。这四个问题把「模型有没有撒谎」从发布前的抽查,变成了对训练与部署全流程的追问。
权限是真实的,但边界清楚。OpenAI 向 Apollo 开放与所审查主张相关的训练代码和数据集、带推理轨迹与奖励信号的强化学习 rollout,以及查询中间模型检查点的能力;范围严格限定在事先约定的主张、模型和时间段之内。OpenAI 保留以技术不可行、安全风险或知识产权保护为由扣留材料的权利,同时承诺不会仅仅因为信息对自己不利就隐瞒。
独立性是这份协议较弱的一环。Apollo 只能接触 OpenAI 指定的「授权员工」,如果范围之外的员工主动提供了研究范围内的机密信息,Apollo 必须停止沟通,后续联络须经 OpenAI 转达——这一条在 OpenAI 以向安全机构 METR 分享机密信息为由解雇三名研究员之后,显得格外敏感。Apollo 可以发表自己的独立结论,但 OpenAI 可以限制可用于佐证的证据,外界因此难以独立复核这些发现。
Apollo 把这次试点称为「迈向更深访问权与披露权的雄心勃勃的第一步」,并表示正朝着与多家 AI 开发者开展完整嵌入评估的方向努力。短期内的观察点有两个:试点何时真正启动,以及第一份报告能带着多少证据公开。
为什么重要
这是前沿实验室首次把外部评估员从「发布前抽查」移到训练与部署流程之内,安全监督的位置变了。但访问范围、人员白名单与证据披露三道限制,决定了它更像一次有条件的开放,而非真正独立的外部审计。
附近消息
全部11/17 01:00
OpenAI推出新图像分类器,ChatGPT将对试图获取CSAM的账号封禁24小时
TechCrunch报道,OpenAI上线了一款新的图像分类器,用于识别并阻断儿童性虐待材料(CSAM),同时改变了ChatGPT中的处置方式。按照新规则,试图访问此类内容的账号会被警告并封禁24小时。
11/17 01:07
腾讯推出 Hy4 Flash:100 万 token 上下文,每百万 token 0.07 美元
据 Pasquale Pillitteri 报道,腾讯发布 Hy4 Flash 模型,支持 100 万 token 上下文窗口,定价为每百万 token 0.07 美元。超长上下文叠加极低单价,指向整库代码、长文档比对与长会话智能体等负载,但真实表现仍需第三方基准和上线信息来验证。
11/17 00:36
通义千问Qwen4-Max正式版上线:2.4万亿参数MoE,任务成本降近六成
据搜狐报道,通义千问Qwen4-Max正式版已上线,采用2.4万亿参数的MoE架构,并把任务成本压低近六成。相关报道同时提到该版本支持100万token上下文,定位为面向长文档与复杂任务的旗舰模型。
11/17 00:07
报道称 OpenAI 曾探讨以逾 50 亿美元收购可解释性初创公司 Goodfire
据 The Information 报道,OpenAI 曾就收购 AI 可解释性初创公司 Goodfire 展开探讨,讨论中的交易金额超过 50 亿美元。这一消息把长期偏研究导向的模型可解释性领域,推到了大额并购的讨论中心。