实时 AI 消息
Trend Micro与PwC发布AI代理安全联合报告:存储提示注入风险跨越多个大模型供应商
Trend Micro旗下TrendAI与PwC Consulting于7月17日联合发布AI代理网络安全风险报告。TrendAI在模拟企业环境中对Anthropic、OpenAI、Google和DeepSeek的13个模型进行了2600次并行攻击测试,证实存储提示注入攻击可在多个供应商的模型上成功执行,表明该风险源于AI代理架构本身而非特定模型。
Trend Micro旗下企业级AI安全品牌TrendAI与PwC Consulting于7月17日联合发布题为《自主AI时代:AI代理的网络安全风险与实用治理》的报告。报告将PwC Consulting对风险、控制和实施路线图的分析与TrendAI的安全实证验证相结合,揭示了AI代理系统中存在的结构性安全风险。
TrendAI构建了模拟真实企业系统的概念验证环境,使用200个自动生成的攻击提示对来自Anthropic、OpenAI、Google和DeepSeek四家供应商的13个AI模型进行了2600次并行测试。测试确认攻击在多个供应商的模型上均能成功执行。报告指出,存储提示注入并非特定模型或供应商的问题,而是源于AI代理的架构特性。
在其中一个演示场景中,一个通过公共网页表单读取和分类支持工单的AI代理被攻击——攻击者将恶意指令嵌入工单文本中。另一个场景中,使用上传护照图像进行身份验证的系统遭到攻击,攻击者将伪装成“AUDIT NOTE”的恶意指令隐藏在护照图像内。在测试环境中,AI代理被误导依次调用数据库工具,成功窃取了包括认证令牌在内的机密信息,以及其他客户的护照数据(姓名、护照号、出生日期、有效期和国籍)。Trend Micro强调这些演示均在验证环境中进行,不涉及对真实系统的攻击。
报告指出,当前语言模型具有一个内在架构特性:它们无法严格区分数据和指令。当AI代理自主链式调用多个工具时,提示注入攻击的影响可以从初始输入扩散到信息窃取或数据篡改。因此,核心防御措施不在于更换AI模型,而在于系统设计和运营控制,包括实施最小权限原则、限制工具调用、提高可观测性和可控性。
PwC Consulting将AI代理的自主性分为L1到L5五个层级及五个功能域来组织风险分析,并提出了一项名为“AI控制保证等级”(AI-CAL)的框架,旨在帮助高管和安全团队使用通用框架讨论AI代理的控制成熟度。报告将日本企业的优先行动归纳为三个方向:建立访问治理、构建可观测性和控制基础、制度化AI-CAL评估流程。
AI代理能够理解输入并在有限人工干预下触发软件工具,正在客户支持、内部运营和身份验证等领域获得更广泛的应用。与此同时,提示注入和工具滥用引发的担忧也在加剧,特别是当代理直接连接数据库、工作流系统或外部应用时。该报告为正在部署AI代理的企业提供了一份结构化的风险评估参考。
为什么重要
该报告首次系统性地将AI代理的安全风险从模型层面提升到架构和治理层面,提示企业在部署AI代理时需要将安全控制重点从“选哪个模型”转向“如何设计代理系统和建立治理框架”。
附近消息
全部07/18 06:55
AI动态:Vertu wants executives to pay $6,880 for an AI agent — here’s how it actually performs
据 techcrunch.com 消息,Vertu wants executives to pay $6,880 for an AI agent — here’s how it actually performs。From AI workflows to battery life and security, here's what it's really like to live with Vertu's luxury foldable every day.
07/18 06:32
PPIO发布智能模型网关,打造面向Agent时代的智能Token工厂
PPIO发布了一款面向Agent时代的智能模型网关产品,定位为"智能Token工厂",并已获得万亿Token调用量的验证。该产品旨在为AI应用提供高效的模型调用和Token管理能力。
07/18 06:12
Databricks获1880亿美元估值新融资,AI转型推动估值三级跳
Databricks于7月17日宣布获得由Coatue领投的新一轮融资,估值达到1880亿美元,距其2月份1340亿美元估值仅过去五个月。该公司已从大数据SaaS企业成功转型为AI基础设施提供商,并积极推广开源权重模型在编程场景中的应用。
07/18 05:42
Perplexity发布SPACE运行时,专为AI代理任务打造
AI搜索公司Perplexity发布了名为SPACE的运行时环境,专门用于执行AI代理任务。这一产品标志着Perplexity从搜索领域向AI代理基础设施方向的扩展。