郭震 AI公众号:郭震AI

实时 AI 消息

思科开源Project Quarry,用检测语言追踪AI智能体的越界行为

思科开源了Project Quarry,一种面向AI智能体行为检测的神经符号规则语言及其执行引擎。它把跨多步的工具调用与模型交互写成可复用的检测规则,并在命中时返回带证据的告警,覆盖对话、智能体、MCP交互与多模态输入。

发布时间
思科开源Project Quarry,用检测语言追踪AI智能体的越界行为
图源: gemini.google

思科在10月28日的博客中宣布开源Project Quarry。按官方描述,这是一种为智能体安全从头设计的检测语言:安全团队只需描述一次多步攻击的形态,就能用它检查每一个智能体会话,并看到每条告警背后的证据。

它要解决的问题是,智能体遭遇的攻击往往由一串单独看都合规的动作组成——读一个网页、查一个文件、调用一个工具、拿到结果再行动。只检查单条消息的分类器,和只放行或拒绝单个动作的授权控制,都很难把整条轨迹连起来看。

Quarry因此采用神经符号(neurosymbolic)设计,规则可以同时引用两类证据:一类来自机器学习分类器和LLM评审的判断型信号,例如工具返回的内容是否包含提示注入;另一类是可精确表述的符号检查,例如危险命令、字符串匹配、两个工具调用的先后顺序。OCR与视觉模型可以为图片提供同样的神经信号。

覆盖面上,官方称Quarry支持单轮与多轮LLM对话、智能体、工具使用、Model Context Protocol(MCP)交互以及多模态输入。规则会定义检查哪些数据、调用哪些信号、如何组合、适用哪些豁免,以及什么算命中。

命中时Quarry返回的是证据,而不只是一个分数:包括触发匹配的步骤、每个步骤命中的字段和简短摘录,常见密钥格式会被遮蔽。接收告警的产品可以把结果映射为告警、阻断、脱敏、隔离或记录等动作。

官方给出三类用法:运行时护栏,在每次模型调用和工具执行前后检查并拦截风险步骤;事后评估,用规则集扫描已存储的轨迹;事件响应,把新学到的攻击模式回溯到历史轨迹上。

思科把它类比为安全行业已有的共享语言:Snort之于网络流量、YARA之于恶意软件、Sigma之于日志。博客援引Hugging Face在7月披露的事件作为例证——智能体在其生产环境中活动了约两天半,日志里记录了约1.76万次动作,多数单看都很平常,只有累积成序列时才显出异常。同篇还提到Claude Code被用于针对约30家机构的攻击,以及GitHub与Supabase的MCP服务器被提示注入利用的案例。

Quarry并不打算取代细粒度授权或内容分类器。思科的定位是共享的策略层:让检测逻辑可以像规则一样被测试、版本化和共享。它还与自家的AI Security & Safety Framework对接,把过度自主、奖励黑客这类风险类别翻译成可执行的检查。接下来的看点是开源仓库里规则与威胁配置的积累速度,以及其他厂商是否愿意采用同一套语言。

为什么重要

对安全团队来说,这意味着智能体检测从各家产品内置的黑盒规则,转向可以互相共享、版本化的公开语言;对思科来说,这是在智能体安全标准形成期抢占规则层位置的一步。

微博邮件

CiscoSecurityAgent
返回实时消息

附近消息

全部