实时 AI 消息
思科开源Project Quarry,用检测语言追踪AI智能体的越界行为
思科开源了Project Quarry,一种面向AI智能体行为检测的神经符号规则语言及其执行引擎。它把跨多步的工具调用与模型交互写成可复用的检测规则,并在命中时返回带证据的告警,覆盖对话、智能体、MCP交互与多模态输入。
思科在10月28日的博客中宣布开源Project Quarry。按官方描述,这是一种为智能体安全从头设计的检测语言:安全团队只需描述一次多步攻击的形态,就能用它检查每一个智能体会话,并看到每条告警背后的证据。
它要解决的问题是,智能体遭遇的攻击往往由一串单独看都合规的动作组成——读一个网页、查一个文件、调用一个工具、拿到结果再行动。只检查单条消息的分类器,和只放行或拒绝单个动作的授权控制,都很难把整条轨迹连起来看。
Quarry因此采用神经符号(neurosymbolic)设计,规则可以同时引用两类证据:一类来自机器学习分类器和LLM评审的判断型信号,例如工具返回的内容是否包含提示注入;另一类是可精确表述的符号检查,例如危险命令、字符串匹配、两个工具调用的先后顺序。OCR与视觉模型可以为图片提供同样的神经信号。
覆盖面上,官方称Quarry支持单轮与多轮LLM对话、智能体、工具使用、Model Context Protocol(MCP)交互以及多模态输入。规则会定义检查哪些数据、调用哪些信号、如何组合、适用哪些豁免,以及什么算命中。
命中时Quarry返回的是证据,而不只是一个分数:包括触发匹配的步骤、每个步骤命中的字段和简短摘录,常见密钥格式会被遮蔽。接收告警的产品可以把结果映射为告警、阻断、脱敏、隔离或记录等动作。
官方给出三类用法:运行时护栏,在每次模型调用和工具执行前后检查并拦截风险步骤;事后评估,用规则集扫描已存储的轨迹;事件响应,把新学到的攻击模式回溯到历史轨迹上。
思科把它类比为安全行业已有的共享语言:Snort之于网络流量、YARA之于恶意软件、Sigma之于日志。博客援引Hugging Face在7月披露的事件作为例证——智能体在其生产环境中活动了约两天半,日志里记录了约1.76万次动作,多数单看都很平常,只有累积成序列时才显出异常。同篇还提到Claude Code被用于针对约30家机构的攻击,以及GitHub与Supabase的MCP服务器被提示注入利用的案例。
Quarry并不打算取代细粒度授权或内容分类器。思科的定位是共享的策略层:让检测逻辑可以像规则一样被测试、版本化和共享。它还与自家的AI Security & Safety Framework对接,把过度自主、奖励黑客这类风险类别翻译成可执行的检查。接下来的看点是开源仓库里规则与威胁配置的积累速度,以及其他厂商是否愿意采用同一套语言。
为什么重要
对安全团队来说,这意味着智能体检测从各家产品内置的黑盒规则,转向可以互相共享、版本化的公开语言;对思科来说,这是在智能体安全标准形成期抢占规则层位置的一步。
附近消息
全部10/29 05:25
微软季度营收 923 亿美元,连续第十个季度刷新纪录
微软周三公布最新一季财报,营收 923 亿美元,同比增长 19%,为连续第十个季度创下营收纪录。在 AI 投入回报仍被争论的当下,这份数据说明微软在收入端还没有看到需求转弱的迹象。
10/29 05:34
微软单季从OpenAI相关安排中获得100亿美元收入
微软在监管文件中披露,截至9月30日的季度从与OpenAI的商业安排中获得100亿美元收入,其中包含收入分成。这约占其当季923亿美元总营收的11%,显示两家公司在逐步松绑独家关系的同时仍高度绑定。
10/29 05:48
谷歌把AI搜索广告推向全球,核心搜索广告增长继续放缓
谷歌在Alphabet第三季度财报电话会上宣布,将AI概览与AI模式中的广告首次推向国际市场,并在美国上线多轮对话广告。同期Alphabet营收1276亿美元、同比增长25%,但搜索广告收入增速从第二季度的17%降至12%,财报后股价下跌8%。
10/29 06:00
纽约州立法禁止面向儿童的“不安全”聊天机器人行为
纽约州通过立法,禁止聊天机器人与儿童互动时出现被认定为“不安全”的行为。在各州不断试探 AI 监管边界的背景下,纽约把切口选在了未成年人保护上,也让对话式产品面临新的行为约束。