郭震 AI公众号:郭震AI

实时 AI 消息

蚂蚁集团开源 SingGuard-NSFA:面向自主 AI Agent 的全新安全护栏框架

蚂蚁集团正式开源了 SingGuard-NSFA,这是一套专为自主 AI Agent 设计的安全护栏框架,覆盖 7 大风险域共 185 种风险变体。该项目同时发布了从 0.8B 到 9B 的四个开源模型,在多语言基准上均取得超过 94% 的 F1 分数。

发布时间
蚂蚁集团开源 SingGuard-NSFA:面向自主 AI Agent 的全新安全护栏框架
图源: ant.design

蚂蚁集团(Ant Group)AI 安全实验室今日宣布正式开源 SingGuard-NSFA,一个专为自主 AI Agent 设计的安全护栏框架。该项目已通过 GitHub(仓库名 inclusionAI/SingGuard-NSFA)以 Apache-2.0 许可发布,同时在 Hugging Face 和 ModelScope 平台提供了从 0.8B 到 9B 的四个模型权重。

随着大语言模型从文本生成工具进化为能调用工具、执行代码并编排多步骤计划的自主 Agent,安全威胁的重心已从模型输出的内容安全转向 Agent 具体执行的行为安全。SingGuard-NSFA 正是针对这一范式转换而设计的全新安全体系。

SingGuard-NSFA 的核心之一是 NSFA 风险分类体系,它以 CIA 三元组(机密性、完整性、可用性)为理论基础,构建了覆盖 7 个一级域、28 个二级风险和 185 个三级风险变体的多层次分类结构。该体系同时参照了三项 OWASP 安全指南进行交叉验证,能够检测包括提示注入、敏感信息窃取、恶意代码请求、危险工具滥用和资源耗尽在内的各类 Agent 操作风险。

在技术架构上,SingGuard-NSFA 采用了"生成式推理 + 判别式分类"的双模态推理方案:生成式模式可输出可解释的推理分析链条,适用于合规审计和人工审查;判别式分类头则能在约 50 毫秒内完成实时拦截。两种模式共享同一个骨干网络,可根据场景灵活切换。

该框架还具备原生可扩展性——如果要检测超出 NSFA 分类体系的新型风险,只需在冻结的骨干网络上训练一个轻量级的分类头即可,无需重新训练或影响已有能力。这一能力同样可作为插件增强其他护栏系统,例如可为 Llama Guard 3 提升高达 17.6 个 F1 点。

在数据层面,SingGuard-NSFA 构建了一套多语言基准套件,利用 74 个开源大模型通过四阶段流水线合成了超过 9.3 万条目的训练数据,覆盖 133 种语言。四个发布版本模型(0.8B、2B、4B、9B)均在该多语言基准上取得了超过 94% 的 F1 分数,领先最接近的竞品护栏系统 6 到 12 个绝对 F1 点。

SingGuard-NSFA 的发布标志着 Agent 安全领域从内容过滤向行为护栏的重要演进。随着 AI Agent 在企业场景中加速落地,一套面向 Agent 操作安全的标准框架将成为行业基础设施的关键组成部分。蚂蚁集团通过开源这一体系,有望推动 Agent 安全防护走向标准化和社区共建。

为什么重要

这是业界首个将生成式推理与实时分类相结合的 Agent 安全护栏框架,其开源发布有望为自主 AI Agent 的安全防护建立新的行业基准。

微博邮件

Ant GroupAI SecurityOpen SourceGuardrailsAgent
返回实时消息

附近消息

全部