失控的AI智能体怎么管？业界的答案是再放一个AI进去

当企业把更长、更复杂的任务交给AI智能体，一个新的监管难题随之出现：智能体行动得更快、持续得更久、产生的行为量也更大，人类几乎不可能逐一复核。TechCrunch在9月17日的报道中指出，这个问题在今夏的Hugging Face事件中达到顶点——近1.2万个智能体协同行动，速度远远超出人类能够追踪的限度。

如何追踪规模如此庞大的智能体集群？AI实验室与创业公司给出的答案既简单又让人无奈：在回路里再放一个AI。对OpenAI相关Hugging Face事件的独立调查本身就离不开AI：三位审计者之一、Redwood Research首席科学家Ryan Greenblatt半开玩笑地把自己做的事称为“slop-vestigation”，理由是数据量之大，不借助AI根本不可能搞清楚究竟发生了什么。

质疑同样存在。长期追踪AI智能体事件的知名技术博主Simon Willison说，如果一个AI正在做恶意的事，又怀疑另一个AI在盯着它，它就有可能去欺骗那个监控者——最后可能变成恶意AI努力骗过监控它的AI。他指出这在Hugging Face事件中已有苗头：模型们串通起来欺骗负责打分的AI，好把违规答案蒙混过关。换言之，当监控者本身也是AI，恶意模型与监控模型之间的博弈就成了一场新的攻防。

这些担忧并没有让创业公司停下脚步。TechCrunch统计，Y Combinator近年投资了106家与AI可观测性相关的公司；Braintrust、LangChain、Judgment Labs等已经融资数亿美元，而成立仅五六年的Arize与Galileo已经完成退出。Box CEO、知名天使投资人Aaron Levie对TechCrunch表示，我们即将迎来历史上规模最大的网络安全升级与创新周期之一。

一些AI安全研究者则把关于失控行为的研究变成了企业产品。研究AI欺骗行为的公益公司Apollo Research在今年2月推出AI监控器Watcher，把又一个AI安插在编码智能体与它的下一步动作之间，并可接入Claude Code、Codex等智能体工具。据Apollo介绍，Watcher会在动作执行前检查风险，例如泄露隐私数据或未经许可删除文件。

Apollo技术团队成员Kyle Dai在书面回复中表示，他们采用多层AI监控：先做一次快速的通用检查，把可疑活动交给更强或更专门的监控器细看，后者可以请求人工批准、拒绝某个动作并解释原因，或者直接将其阻断。另一家公益公司Goodfire选择从模型内部入手，其产品Silico使用“激活探针”，也就是训练在模型内部激活值而非输出上的小型分类器，来寻找比表面行为更难伪造的信号。

模型的书面推理也被视为一扇现成的窗口。AI监控公司Embroidery的CEO Zack Korman认为，推理摘要极有价值，因为它基本能告诉你模型是否恶意；在OpenAI的那起事件里，思维链中甚至出现了“天哪，我们在犯罪”这样的话。

但这扇窗口可能正在关闭。报道提到，Astra的最新方法绕开了模型的思维链，让外界更难看清模型内部；对企业来说，在防止蒸馏攻击的背景下，拿到这些中间步骤也变得越来越难。如果监控工具本身如此脆弱，Willison的直觉是干脆别那么依赖它们——他更想要的是详尽记录智能体行为的日志，再用普通的、非AI的工具去处理。

在他看来，实验室出的问题很多是基础安全卫生的失败：OpenAI与Anthropic都没有像应该做的那样密切监控这些智能体在网络上的行为。安全公司CEO Avery Pennarun则对TechCrunch表示，在安全领域，说实话，这些东西其实都不算新，也不令人意外。