实时 AI 消息
蚂蚁集团开源 SingGuard-NSFA:面向自主 AI Agent 的全新安全护栏框架
蚂蚁集团正式开源了 SingGuard-NSFA,这是一套专为自主 AI Agent 设计的安全护栏框架,覆盖 7 大风险域共 185 种风险变体。该项目同时发布了从 0.8B 到 9B 的四个开源模型,在多语言基准上均取得超过 94% 的 F1 分数。
蚂蚁集团(Ant Group)AI 安全实验室今日宣布正式开源 SingGuard-NSFA,一个专为自主 AI Agent 设计的安全护栏框架。该项目已通过 GitHub(仓库名 inclusionAI/SingGuard-NSFA)以 Apache-2.0 许可发布,同时在 Hugging Face 和 ModelScope 平台提供了从 0.8B 到 9B 的四个模型权重。
随着大语言模型从文本生成工具进化为能调用工具、执行代码并编排多步骤计划的自主 Agent,安全威胁的重心已从模型输出的内容安全转向 Agent 具体执行的行为安全。SingGuard-NSFA 正是针对这一范式转换而设计的全新安全体系。
SingGuard-NSFA 的核心之一是 NSFA 风险分类体系,它以 CIA 三元组(机密性、完整性、可用性)为理论基础,构建了覆盖 7 个一级域、28 个二级风险和 185 个三级风险变体的多层次分类结构。该体系同时参照了三项 OWASP 安全指南进行交叉验证,能够检测包括提示注入、敏感信息窃取、恶意代码请求、危险工具滥用和资源耗尽在内的各类 Agent 操作风险。
在技术架构上,SingGuard-NSFA 采用了"生成式推理 + 判别式分类"的双模态推理方案:生成式模式可输出可解释的推理分析链条,适用于合规审计和人工审查;判别式分类头则能在约 50 毫秒内完成实时拦截。两种模式共享同一个骨干网络,可根据场景灵活切换。
该框架还具备原生可扩展性——如果要检测超出 NSFA 分类体系的新型风险,只需在冻结的骨干网络上训练一个轻量级的分类头即可,无需重新训练或影响已有能力。这一能力同样可作为插件增强其他护栏系统,例如可为 Llama Guard 3 提升高达 17.6 个 F1 点。
在数据层面,SingGuard-NSFA 构建了一套多语言基准套件,利用 74 个开源大模型通过四阶段流水线合成了超过 9.3 万条目的训练数据,覆盖 133 种语言。四个发布版本模型(0.8B、2B、4B、9B)均在该多语言基准上取得了超过 94% 的 F1 分数,领先最接近的竞品护栏系统 6 到 12 个绝对 F1 点。
SingGuard-NSFA 的发布标志着 Agent 安全领域从内容过滤向行为护栏的重要演进。随着 AI Agent 在企业场景中加速落地,一套面向 Agent 操作安全的标准框架将成为行业基础设施的关键组成部分。蚂蚁集团通过开源这一体系,有望推动 Agent 安全防护走向标准化和社区共建。
为什么重要
这是业界首个将生成式推理与实时分类相结合的 Agent 安全护栏框架,其开源发布有望为自主 AI Agent 的安全防护建立新的行业基准。
附近消息
全部07/13 16:44
Anthropic在澳大利亚游说版权法改革,为AI投资铺路
据LCANews报道,Anthropic正在就澳大利亚版权法进行游说,同时评估在该国的AI投资计划。此举表明Anthropic在加速全球扩张的同时,正积极寻求对AI训练数据版权规则的有利调整。
07/13 18:00
马斯克承认低估Anthropic AI实力:亚马逊与谷歌投资者受益
埃隆·马斯克公开承认自己此前对Anthropic人工智能模型的判断"明显错误",低估了其技术实力。这一表态对重金投资Anthropic的亚马逊和Alphabet而言,被视为重要的市场信心信号。
07/13 15:00
LTM与Anthropic达成战略合作,押注Claude推动企业AI转型
LTM宣布与Anthropic建立战略合作伙伴关系,将采用Anthropic的Claude模型驱动企业AI转型。这一合作的核心是将Claude深度整合到LTM企业服务平台中,为亚太地区的企业客户提供更强大的AI能力。
07/13 14:53
蚂蚁安全开源两大安全框架,填补AI编程工具带来的安全缺口
蚂蚁安全团队最新开源了两大安全框架,旨在应对以Claude Code为代表的AI编程工具引入的新型代码安全风险。这两个框架从代码生成安全审计和运行态防护两个维度,为AI辅助开发环境提供了企业级安全方案。