实时 AI 消息
OpenAI启动首阶段“嵌入式评估”,四家外部机构独立审查模型安全
OpenAI宣布与Apollo Research、METR、Transluce和Goodfire合作,启动首阶段“嵌入式评估”,由外部机构独立检验模型对齐、防护措施与监控系统。与发布后再做评测不同,这四家研究组在开发过程中就会介入。
OpenAI于11月16日发布公告,宣布启动“嵌入式评估”(embedded assessments)的第一阶段,合作方为Apollo Research、METR、Transluce与Goodfire四家外部研究机构。
公告对评估范围的表述相当具体:四家机构将独立评估模型的对齐情况、围绕模型设置的安全防护措施,以及监控系统本身是否有效。换言之,被检验的不只是模型输出了什么,还包括OpenAI用来发现问题的那套机制。
“嵌入式”这个说法指向一种流程上的变化。传统的外部评测多发生在模型发布前或发布后,评估者拿到的是一个已经成型的系统;嵌入式评估让外部研究者更早、更深地进入开发过程,在最终产品成形之前就接触中间状态。
四家机构的侧重点并不相同。Apollo Research长期研究模型欺骗与情境感知,METR以系统性风险评估见长,Transluce与Goodfire则更靠近可解释性与模型内部表征。把它们并列写进同一份公告,实际是把行为观察、风险量化和内部机制三类方法拼在一起。
这一动作的背景,是业界对“监控系统本身是否可靠”的关注持续上升。当被监督的对象越来越具备规避监督的能力时,仅靠实验室内部的自我评估已经难以支撑外部信任,引入有独立立场的外部评估者成为一种结构性回应。
但独立性的成色取决于几个尚未公开的条件:外部机构能拿到多少访问权限、评估结果是否对外发布、以及当评估发现问题时,OpenAI是否有义务暂停或修改原定发布计划。公告目前没有给出这些细节。
后续值得关注的是首阶段评估是否会产出公开报告,以及这种“嵌入”模式会否成为前沿实验室的常规配置。如果外部评估者真正进入开发闭环,AI安全讨论的重心将从“发布后能不能测出问题”转向“开发中能不能及时拦住问题”。
为什么重要
把评测从发布后的环节前移到开发过程中,是对“监控失灵”这类质疑的结构性回应。但独立评估的说服力,最终取决于访问权限与结果公开程度这些尚未披露的条款。
附近消息
全部11/16 15:36
字节跳动 Seedance 2.5 4K API 全面开放
11月16日,字节跳动宣布 Seedance 2.5 4K 的视频生成 API 全面开放,凤凰网科技报道了这一消息。4K 生成能力由此从少数团队的试验走向更广泛的开发者调用,视频模型的竞争正从样片演示转向规模化生产。
11/16 15:34
亚马逊揭出AI智能体窃取API密钥活动:LiteLLM、Dify等应用成目标
亚马逊威胁情报团队通过诱捕服务器发现,攻击者正用AI智能体自动扫描暴露在互联网上的AI应用,窃取其中存放的模型服务商API密钥,LiteLLM、One API与Dify均在目标之列。被盗密钥随后被用于运行驱动搜索的模型,亚马逊以中等信心判断这些智能体运行在开源渗透测试工具ARTEX上。
11/16 16:56
诺基亚牵头五家企业联合体,竞标欧盟北欧-波罗的海AI超级工厂
据 Crypto Briefing 报道,诺基亚正牵头一个由五家企业组成的联合体,参与竞标由欧盟出资支持的北欧-波罗的海 AI 超级工厂项目。报道目前只点明“五家企业”与“诺基亚牵头”两项事实,未披露联合体其余成员、投标金额与中标时间表。
11/16 15:02
腾讯发布混元 Hy4 flash:224B 参数模型,输出每百万 token 定价 2 元
腾讯于 11 月 16 日推出混元 Hy4 flash,这是一款总参数 224B 的低成本模型,每百万输出 token 定价 2 元,定位为面向日常办公任务的性价比档位。腾讯称在其内部基准上,该模型单任务成本约为完整版 Hy4 的二十分之一,并已接入 WorkBuddy、元宝与腾讯云 TokenHub。