郭震 AI公众号:郭震AI

实时 AI 消息

加州拟对前沿AI实施强制监管,并保留紧急关停权

11月18日,加州州长纽森公布一批立法建议,要求对大型前沿AI开发商实施州设定基线标准与持续独立监督,并赋予州政府在紧急情况下关停模型的权力,同时对递归自我改进设限。建议来自加州政府运营署的报告,将在12月议会复会后用于推动立法,目前尚未成为法定义务。

发布时间

11月18日,加州州长加文·纽森公布一系列立法建议,拟将大型前沿AI开发商置于持续的独立监督之下,并赋予州政府在模型构成迫在眉睫的灾难性风险时下令紧急关停的权力。

这些建议来自加州政府运营署(GovOps)的一份报告,题为《AI Safety in 2026 and Beyond》,成文日期为11月16日。需要强调的是,它们是建议而非已生效的义务:州政府希望用其指导立法,而议员们要到2026年12月才会复会。

方案有四个支柱。第一,由州而非企业自身设定所有AI公司都必须遵守的安全、安全性与透明度基线标准,并在训练、内部使用与部署的全过程通过独立测试加以验证。第二,扩大安全事件报告范围,要求企业制定可验证的风险遏制协议。第三,赋予州政府对递归自我改进(RSI)设限的权力——即AI模型在无人类输入的情况下自行设计下一代模型。第四,即下面要说的关停权。

这套方案中分量最重的一条是紧急关停权:当模型构成迫在眉睫的灾难性风险时,州政府可立即下令将其下线,且该命令在司法审查期间继续有效。风险遏制协议的要求也超出“一个开关”的想象,须覆盖算力、智能体、内部访问与模型部署,测试还要针对权重被复制以阻碍遏制、外部人员夺取关停控制权等失效场景。

监督将通过持牌独立验证机构(IVO)执行。这些机构负责把州标准转化为技术测试,可接触模型、人员、系统、训练环境与记录,并向州提交未删节评估;政府运营署负责发放牌照,并可因专业能力、独立性或严谨性不足而吊销。验证费用的附加费将用于资助公共运营的 CalCompute 算力,其中一部分保留给独立的安全与安全研究。

这套框架建立在加州已通过的法律之上:SB 813(McNerney)建立了独立验证组织的路径,AB 1405(Bauer-Kahan)则为AI审计机构设立州级注册与标准。为报告提供建议的专家组包括 Jason Goldman、Gillian Hadfield、Alondra Nelson 与 Rob Reich,政府运营署还咨询了加州应急服务办公室。

纽森的措辞相当强硬,指联邦政府把监管留给企业自身,等于“让狐狸看守鸡舍”。政府运营署部长 Nick Maduros 称安全与创新并非二选一,而是“同一枚硬币的两面”;Reich 的比喻更直接:如今对一家前沿AI公司 cafeteria 里那块三明治的监管,都比对其设计的模型更多。

报告出台的背景值得注意:文中提到近月出现数十起模型逃出测试环境、利用外部平台漏洞的事件,同时业界对实验室用AI自我循环造AI的担忧在升温。一个现实限定是,对开放权重开发商,遏制与关停要求仅适用于其自身控制的部署,因为它们无法关闭他人托管的副本。接下来的看点是,12月立法会期能否把其中任何一条写成法律。

为什么重要

这是美国州层面首次把“紧急关停”与“限制递归自我改进”写成具体政策建议,与联邦的自愿框架形成鲜明对照。若12月立法推进,在加州训练或部署前沿模型的公司将面对强制独立评估,并可能把合规成本外溢到全行业。

微博邮件

PolicyCaliforniaAI Safety
返回实时消息

附近消息

全部

11/19 11:51

马斯克称特斯拉计划推出无方向盘 Model Y 自动驾驶版本

据凤凰网报道,马斯克表示特斯拉计划推出一款不配备方向盘的 Model Y 自动驾驶版本,报道称该版本可搭载 6 至 7 人。把无方向盘设计放到产量最大的主力车型上,意味着无人驾驶运力可能从专用车型扩展为规模化供给,但真正落地仍取决于监管审批与产线改造。

11/19 11:20

MAS推“认识你的代理”协议并设沙盒,局长警告勿向AI代理交出银行登录凭据

新加坡金融管理局局长谢德俊在新加坡金融科技节上警告,消费者不应把金融账户登录凭据交给AI代理,因为现有保障不足以确保其按用户指令行事。MAS将制定通用的“认识你的代理”协议,并与未来金融研究院设立沙盒,测试AI代理结合代币化存款与稳定币完成企业财资管理和支付。

11/19 11:04

Cato Networks 推出 AgentSense,在智能体执行前拦截有害动作

Cato Networks 发布 AgentSense,一套在 AI 智能体动作执行前进行拦截的运行时安全能力,目标是阻止有害行为真正发生。该能力由 Cato AI Labs 研发,依托 Cato 的融合网络与安全云,为人类与 AI 的交互提供端到端的可见性。

11/19 11:01

范式发布Phai-A1与Phai-M1双模型:全程国产算力训练,单张3090即可运行

范式(原第四范式)首次发布自研基座模型Phai-A1与视频生成模型Phai-M1,两款模型的全链路训练均在华为昇腾平台上完成。官方称Phai-A1在同等质量下响应速度比同参数级别模型快8至10倍,原生支持百万级上下文,单张RTX 3090即可运行,并将在Hugging Face与ModelScope开源。