郭震 AI公众号:郭震AI

实时 AI 消息

评测显示:中国开源模型在自主入侵任务上逼近OpenAI受限模型,成本约为十分之一

Dealroom 11月6日的报道称,一项针对智能体自主网络攻击能力的评测发现,中国的开源权重模型在模拟企业网络的入侵任务上已接近 OpenAI 仅通过受限网络安全项目提供的旗舰模型,而单次成本大约只有后者的十分之一。评测同时提醒,权重一旦公开,任何服务商都无法监测或阻止模型被用于攻击。

发布时间
评测显示:中国开源模型在自主入侵任务上逼近OpenAI受限模型,成本约为十分之一
图源: csa.gov.sg

Dealroom 在11月6日的一则报道给出了一个不太舒服的结论:在让AI智能体自主攻击模拟企业网络的评测中,中国的开源权重模型已经追上 OpenAI 只对受限网络安全项目开放的旗舰模型,而成本只是后者的一小部分。

这类评测与常见的单题闯关式安全基准不同。智能体面对的是带服务器、工作站、账号和真实安全缺口的模拟企业网络,需要在无人协助的情况下自己完成侦察、拿到凭据、横向移动直到控制关键系统的多步链条,每一步都依赖上一步的结果。

报道着重对比的是成本。闭源前沿模型只能通过厂商控制的受限访问计划使用,价格与配额都由厂商掌握;开放权重的模型可以下载后自行部署,完成同类任务的成本约为前者的十分之一,且不受使用限制。

更麻烦的是可控性。只要模型权重公开,就没有任何服务商能够监测或阻止它被如何使用,厂商侧的滥用检测、速率限制与访问审批在这一刻全部失效。这既是开放权重带来的能力红利,也是它留下的治理空白。

评测还发现,模型能走多远与允许它运行多久高度相关。随着消耗的算力增加,智能体完成的目标数量继续上升,有些模型的大部分进展出现在很长时间的运行之后。这意味着用短测试来评估风险,很可能低估了这些系统真正能做到的事。

同一套能力对防守方同样有效。能找出入侵路径的模型,也能找出自家系统的薄弱点,企业可以先用它们对自己的网络做测试和修补。评测方的判断是,未来几个月里,针对真实企业网络的此类攻击会变得更常见。

为什么重要

这项对比把开放权重的老争论推到了安全领域:能力平权的同时,滥用防控也失去了抓手。对企业来说,最现实的动作是尽快用同类模型对自己的网络做红队测试。

微博邮件

Open SourceAI SafetyCybersecurity
返回实时消息

附近消息

全部