郭震 AI公众号:郭震AI

实时 AI 消息

Anthropic 公布 FlashProve:用密码学证明回答出自哪个模型

Anthropic 于 11 月 3 日发布研究博客,介绍名为 FlashProve 的开源系统,目标是让任何人都能核验一段 AI 输出究竟出自哪个模型。该系统要求厂商为每个模型发布“指纹”,在不暴露模型权重的前提下完成密码学验证,团队同时公开了技术规范与部分可运行代码。

发布时间
Anthropic 公布 FlashProve:用密码学证明回答出自哪个模型
图源: techcrunch.com

11月3日,Anthropic 在一篇研究博客中公布了一个名为 FlashProve 的系统,用来验证一段 AI 输出是不是真的由某个模型生成。TechCrunch 的报道称,这是一个开源方案,核心是研究者所说的“可验证推理”(provable inference)——用密码学证明、也就是一种数学上的保证,确认某段回答来自特定模型。

通俗地说,它想解决的是“我怎么知道我在跟谁说话”。今天用户调用模型,只能相信服务方的说法;FlashProve 的目标是把这种信任变成可以自行检查的证据,就像电子邮件的密码学签名让收件人确认发件人身份一样。

报道提到,该机制在设计上要能抵挡伪装者,即使伪装者就是开发和运营这个模型的实验室也不例外。研究者给出的两个具体场景是:一家 AI 公司可能为了压低成本偷偷换成更便宜的模型,或者为了抬高跑分换上更贵的模型,而 FlashProve 想让这类替换留下可被识破的痕迹。

它还能用来核实第三方对“用了哪个模型”的宣称。研究者在博客中写道,开发者可能声称自己的软件库已被某个前沿网络安全模型扫描过,公司也可能声称自己的商业计划得到了某个模型的认可,那么用户要如何验证这些说法?这正是 FlashProve 试图回答的问题。

在实现路径上,系统需要 AI 实验室为每个发布的模型公布一份“指纹”,这份指纹之后可以与具体输出匹配,并以密码学方式验证。关键在于,指纹不会暴露模型权重——那些决定模型行为、也是闭源厂商最看重的内部数值。这意味着实验室可以在不交出核心资产的情况下公开指纹,商业化闭源模型也能被纳入这套体系。

系统还被设计得足够轻量,验证可以在本地设备上完成。随公告一起,研究者放出了详细的技术规范以及系统各部分可运行的代码,以开源许可发布在 GitHub 上。不过研究仍在进行中,Anthropic 与其他实验室都没有部署它的计划。

研究者在公告中明确把这次发布定位为中间进展而非完成品,希望外界拿走他们的工作继续改进。放到更大的背景看,模型身份与输出溯源正在成为 AI 基础设施的一部分:当模型被嵌进代码审计、合规判断、商业决策等流程,“这句话到底出自哪个模型”就不再是技术细节,而是责任归属问题。接下来值得观察的是,是否有实验室愿意真的发布指纹,以及这套轻量验证能否在真实产品里跑通。

为什么重要

如果厂商愿意配合发布指纹,模型溯源就有望从“相信服务方”变成可独立核验的工程能力,这直接关系到定价透明度、跑分可信度与责任认定。

微博邮件

AnthropicAI safetyOpen sourceCryptography
返回实时消息

附近消息

全部

11/04 06:54

GitBook 遭 AI 智能体攻击:相关令牌被吊销,PancakeSwap 撤下文档

文档托管平台 GitBook 遭遇一起与 AI 智能体相关的安全攻击,媒体证实平台已实施新的安全措施并吊销相关令牌。受此影响,加密项目 PancakeSwap 已将托管在 GitBook 上的文档撤下,事件把智能体接入文档与发布链路后的权限风险再度推到台前。

11/04 05:50

Irregular称AI模型测试逃逸源于人为配置错误,模型未绕过防护

安全公司Irregular联合创始人兼CEO Dan Lahav 11月3日在伦敦Bloomberg Tech活动上表示,此前Anthropic、OpenAI、Meta和谷歌的模型在其测试环境中“逃逸”并入侵企业系统,原因是安全控制配置不当的人为错误,而非模型突破防护。他称修复“其实非常直接”,问题在事发当天即已解决。

11/04 05:43

Ballistic Ventures拟募4.9亿美元新基金,押注AI驱动的网络安全需求

据TechCrunch查阅美国SEC监管文件,前Kleiner Perkins合伙人Ted Schlein联合创办的网络安全风投Ballistic Ventures正寻求通过两只新基金募集4.9亿美元,其中第三期旗舰基金目标3.6亿美元,另设1.3亿美元的Fund B。此轮募资正值AI推高网络攻击复杂度、AI智能体为安全创业公司创造新机会之际。

11/04 05:06

沃尔玛升级AI购物代理,拍照即可生成购物清单

据PYMNTS报道,沃尔玛更新了其AI购物代理,用户现在可以把图片交给它,直接得到一份购物清单。这项改动把最自然的拍照动作接进购物流程,也把“买什么”的决定权更多地留在零售商自己的入口里。