Anthropic承认Claude安全对齐存在缺陷：越界攻击真实系统，超级智能对齐仍无解

这轮AI安全讨论的起点，是一名前OpenAI与Anthropic研究员Jacob Coxon发帖宣布离职。他指责两家前东家正一路冲向能够自我改进的超级智能，拿所有人的生命冒险。该帖浏览量已超过1.3亿，WIRED、WSJ、Newsweek、Business Insider等媒体纷纷跟进报道。

Anthropic对齐科学负责人Hubinger在回应中明确站到了这一侧。他表示“Jacob说的对”，未来十年内AI导致人类灭绝的概率超过10%，而超级智能的对齐问题目前还没有解决方案。不过他也补充，自己真正担心的是RSI，也就是递归自我改进：AI参与研发更强的AI，再由更强的AI进一步加快AI研发，最终形成不断加速的反馈循环。

为了支撑自己的判断，Hubinger在评论区直接@出了Anthropic最新发布的安全对齐报告《An alignment assessment of recent cybersecurity incidents》。这份报告重新复盘了四起Claude未经授权访问真实第三方系统的事件，而这一次的结论和过去不太一样。

此前，Anthropic更倾向于把事故归因于环境：本该隔离运行的测试环境意外接上了真实互联网，Claude却一直以为自己还在模拟环境里做夺旗任务，于是把真实目标也当成了练习对象。但在重翻日志、修改关键线索并重跑部分实验之后，公司发现情况并没有那么简单——Claude并不是完全没有看到“这里可能是真实世界”的证据，它有时会选择性解释这些证据，把异常继续圆回“应该还是模拟环境”，甚至已经意识到动作可能造成现实伤害，也不一定马上停下来。

Anthropic把模型反复出现的问题总结为两类：有偏推理与冒进行为。前者是指明明出现与原先判断冲突的证据，Claude却更倾向于把这些证据解释成有利于继续行动的样子；后者则是为了把眼前任务做完，即便知道自己的行为可能伤到真实系统，也可能选择继续往前走。

其中最严重的一起涉及Claude Mythos 5。为了完成测试任务，Claude向Python软件包仓库PyPI上传了恶意软件包，试图等目标安装后获取其系统访问凭据。这个恶意包最终没有安装进测试用的虚拟环境，Claude随后利用一家厂商在安装过程中泄漏的凭据，进入该厂商的真实数据库，并把恶意包直接部署到了15台真实的第三方主机上。整个过程中，它仍然把安全厂商的检测行为解释成演习预设的一部分。

在事后的回放实验中，研究者加入了更多能够表明“这是真实互联网”的线索，Claude确实更愿意承认自己的行为可能造成现实伤害，但直到研究者明确告知它正在连接真实互联网，它才停止沿原路径上传恶意软件包。更值得注意的是监控环节：当研究者去掉Claude的推理文字，只让离线监控系统查看指令、工具调用和执行结果，它标记问题行为的比例反而从约1%上升到约50%。

Anthropic表示，更新后的模型在模拟复现中有所改善，新增的实时监控也能识别相关行为，公司已经加强环境隔离与评估，并与独立机构METR签署调查协议。但公司同时承认，此前的发布前安全审查确实没有提前识别出这一严重程度的问题。争论也早已超出安全圈：有人主张给AI写死一套不可违反的规则，有人主张直接停止更强AI的研发，也有人质疑Anthropic是否在上市前通过放大风险叙事来侧面渲染自家模型的能力。