郭震 AI公众号:郭震AI

实时 AI 消息

Trend Micro与PwC发布AI代理安全联合报告:存储提示注入风险跨越多个大模型供应商

Trend Micro旗下TrendAI与PwC Consulting于7月17日联合发布AI代理网络安全风险报告。TrendAI在模拟企业环境中对Anthropic、OpenAI、Google和DeepSeek的13个模型进行了2600次并行攻击测试,证实存储提示注入攻击可在多个供应商的模型上成功执行,表明该风险源于AI代理架构本身而非特定模型。

发布时间

Trend Micro旗下企业级AI安全品牌TrendAI与PwC Consulting于7月17日联合发布题为《自主AI时代:AI代理的网络安全风险与实用治理》的报告。报告将PwC Consulting对风险、控制和实施路线图的分析与TrendAI的安全实证验证相结合,揭示了AI代理系统中存在的结构性安全风险。

TrendAI构建了模拟真实企业系统的概念验证环境,使用200个自动生成的攻击提示对来自Anthropic、OpenAI、Google和DeepSeek四家供应商的13个AI模型进行了2600次并行测试。测试确认攻击在多个供应商的模型上均能成功执行。报告指出,存储提示注入并非特定模型或供应商的问题,而是源于AI代理的架构特性。

在其中一个演示场景中,一个通过公共网页表单读取和分类支持工单的AI代理被攻击——攻击者将恶意指令嵌入工单文本中。另一个场景中,使用上传护照图像进行身份验证的系统遭到攻击,攻击者将伪装成“AUDIT NOTE”的恶意指令隐藏在护照图像内。在测试环境中,AI代理被误导依次调用数据库工具,成功窃取了包括认证令牌在内的机密信息,以及其他客户的护照数据(姓名、护照号、出生日期、有效期和国籍)。Trend Micro强调这些演示均在验证环境中进行,不涉及对真实系统的攻击。

报告指出,当前语言模型具有一个内在架构特性:它们无法严格区分数据和指令。当AI代理自主链式调用多个工具时,提示注入攻击的影响可以从初始输入扩散到信息窃取或数据篡改。因此,核心防御措施不在于更换AI模型,而在于系统设计和运营控制,包括实施最小权限原则、限制工具调用、提高可观测性和可控性。

PwC Consulting将AI代理的自主性分为L1到L5五个层级及五个功能域来组织风险分析,并提出了一项名为“AI控制保证等级”(AI-CAL)的框架,旨在帮助高管和安全团队使用通用框架讨论AI代理的控制成熟度。报告将日本企业的优先行动归纳为三个方向:建立访问治理、构建可观测性和控制基础、制度化AI-CAL评估流程。

AI代理能够理解输入并在有限人工干预下触发软件工具,正在客户支持、内部运营和身份验证等领域获得更广泛的应用。与此同时,提示注入和工具滥用引发的担忧也在加剧,特别是当代理直接连接数据库、工作流系统或外部应用时。该报告为正在部署AI代理的企业提供了一份结构化的风险评估参考。

为什么重要

该报告首次系统性地将AI代理的安全风险从模型层面提升到架构和治理层面,提示企业在部署AI代理时需要将安全控制重点从“选哪个模型”转向“如何设计代理系统和建立治理框架”。

微博邮件

Trend MicroPwCAI AgentCybersecurityPrompt Injection
返回实时消息

附近消息

全部