郭震 AI公众号:郭震AI

实时 AI 消息

英伟达提出 AI 智能体安全框架,以 OpenShell 作为运行时防线

英伟达公布了一套面向 AI 智能体的安全框架,并重点介绍开源运行时 OpenShell,用于在智能体推理之外强制执行策略控制。该框架强调安全取决于完整的智能体技术栈而不只是模型,主张以身份管理、访问控制和可验证的防护来约束会推理、会调用工具的 AI 系统。

发布时间
英伟达提出 AI 智能体安全框架,以 OpenShell 作为运行时防线
图源: everway.com

英伟达(Nvidia)公布了一套面向 AI 智能体的安全框架,并把 OpenShell 作为其中的关键角色重点介绍——一个用于强制执行控制的运行时。

该框架的落脚点是可执行的边界、可问责的责任人,以及能够证明防护确实生效的证据。它要回答的是如何保护那些能够推理、使用工具、并依据所遇数据调整自身行为的 AI 系统。

英伟达认为,互联网与云安全中沿用的核心职责依然适用,包括身份管理、访问控制、限制暴露面,以及验证防护措施是否有效。它不把 AI 安全当作一门独立学科,而是当作一项需要明确需求、清晰归属和测试的工程任务。

框架的一个核心观点是:安全取决于完整的智能体技术栈,而不只是模型。英伟达把这个技术栈描述为包含模型、负责组织上下文与工作流的 harness,以及执行动作的运行时环境,其中每一层都承载着各自的安全职责。

框架举了一个例子:一个 AI 智能体在读取附件文档中遇到的恶意指令后去更新客户记录。在这种情形下,网络策略应阻止任何把客户数据导出到未授权目的地的尝试,受保护的日志则应记录下这次工具调用、授权决定以及最终结果。

英伟达还主张,更新客户记录的权限不应自动等同于允许智能体把同一份数据导出到别处。如果智能体需要额外访问权限,它可以提出申请,但不应该能够自行授予自己。

运行时因此成为关键。安全边界必须在智能体做出错误决策时依然有效,因此运行时环境应独立于智能体的推理,对文件、网络目的地和进程施加限制。OpenShell 正是英伟达为此推出的开源运行时,它提供沙箱化执行,并在智能体触及不到的地方强制执行策略,管控对数据、网络与系统资源的访问。

生态方面,Open Secure AI Alliance 的伙伴正在 OpenShell 之上构建:思科(Cisco)的 DefenceClaw 增加了治理层,JFrog 则整合了智能体技能的扫描与验证。

随着企业追逐 AI 带来的生产力提升,而治理与安全实践仍在成型,这套框架的目标是从测试到部署全程保护智能体。后续看点包括 OpenShell 的采用情况、联盟伙伴的集成成熟度,以及这些运行时控制能否成为行业事实标准。

为什么重要

把安全责任落到运行时与完整技术栈,为企业在部署会执行动作的智能体时提供了可操作的工程框架,也可能推动运行时控制成为行业惯例。

微博邮件

NVIDIAAgentSecurity
返回实时消息

附近消息

全部

10/07 00:00

OpenAI 与 Atlassian 扩大合作,把企业知识接入前沿模型

OpenAI 与 Atlassian 宣布扩大双方合作,目标是把前沿模型与企业内部知识连接起来,帮助团队规划、构建并交付工作。这一由 OpenAI 官方发布的消息,指向让模型基于组织自身语境参与实际业务流程,而不仅是通用问答。

10/07 00:00

Anthropic 推出创业扶持计划:免费一年 Claude Team 与 1000 美元 API 额度

Anthropic 宣布扩展 Claude for Startups 计划,为符合条件的初创公司提供免费一年的 Claude Team 订阅(含最多五个高级席位)以及 1000 美元 API 额度。获选公司还可接入 Claude Marketplace 构建插件,并预约 Anthropic 应用 AI 团队的线上咨询时段。

10/06 23:55

日经:DeepSeek 等中国厂商一个月内发布 16 款 AI 模型,无视 Anthropic 警告

据日经亚洲报道,包括 DeepSeek 在内的中国 AI 公司在一个月内合计发布了 16 款 AI 模型,并未因 Anthropic 的警告而放慢节奏。这一发布密度凸显中国厂商在模型迭代上的高频竞争,也把中美厂商围绕模型安全与使用边界的摩擦进一步摆上台面。

10/06 23:25

LibreOffice 表态不为默认配置加入 AI,称“无 AI”本身就是一项特性

开源办公软件 LibreOffice 的开发者表示,没有计划在默认配置中加入 AI 功能,并把用户隐私列为核心理由。这一表态把“不接入 AI”重新包装成一项卖点,与同类办公套件争相内置助手的做法形成鲜明对比。