郭震 AI公众号:郭震AI

实时 AI 消息

Anthropic新模型登顶自由职业基准,仍有58%任务不合格

Scale AI于11月12日更新的远程劳动指数显示,Anthropic的Fable 5.2以41.3%的项目通过率排名第一,接近第二名Opus 5.5(21.25%)的两倍。但这也意味着,在按专业交付标准评判的240个真实自由职业项目上,仍有约六成任务未能过关。

发布时间
Anthropic新模型登顶自由职业基准,仍有58%任务不合格
图源: anthropic.com

Scale AI在11月12日更新的远程劳动指数(Remote Labor Index,RLI)榜单,给出一组耐人寻味的数字:Anthropic的Fable 5.2以41.3%的项目通过率位居第一。

排在第二的是同家族的Opus 5.5,通过率21.25%。榜首成绩接近次席的两倍——在一个衡量“完整交付物”而非单点问答的基准上,这是一次明显的跃升。Anthropic在11月9日的发布说明中报告了这一结果,标注为“高投入(High effort)”档位,并注明测试时开启了安全防护。

RLI衡量的不是模型会不会写代码、能不能答对题,而是它能否独立完成一份完整的自由职业交付物。该基准由人工智能安全中心(CAIS)与Scale AI的研究人员于2025年10月提出,包含23个自由职业门类下的240个项目,每个项目都配有任务简报、完成任务所需的素材,以及一份专业的人类参考交付物。

交付物类型覆盖文档、音频、视频、3D模型与计算机辅助设计文件。这意味着评测同时考察两件事:对客户需求的理解,以及最终成品的制作质量与文件规范。

评判方式同样严格。经过训练的人类评审会对照简报和参考交付物检查AI的产出,独立评估加多数表决决定结果;只有当一个交付物达到“合理客户可接受”的专业水准、且不逊于参考作品时,该项目才算通过。一个看起来亮眼但只完成一半的原型,仍然会被判为不合格。

58%这个数字的含义正在于此:即便是当前最强的模型,在近六成的项目上仍无法交出达到专业标准的成品。这既说明能力在快速提升,也说明“能演示”与“能交付”之间仍隔着一道门槛。

需要谨慎解读的地方同样明确。RLI的原始研究排除了本质上需要客户沟通、团队协作或体力劳动的工作,也排除了必须等待结果才能评估的项目,因此它对整个远程工作经济的代表性有限。榜单上的通过率并不等于岗位替代率、实际收入或部署成本——公开信息没有披露每个项目的具体花费与人工介入程度。

但方向足够清楚:智能体在真实工作任务上的完成度正快速攀升,而失败率仍是理解这类系统商业价值的关键变量。对把agentic AI当作生产力承诺卖给企业的厂商来说,这六成的差距比榜首排名更值得解释。

为什么重要

榜首成绩证明智能体在完整工作交付上的能力跃升真实存在,但近六成的失败率说明自动化的商业边界仍由可靠性与人工介入成本决定,而非榜单排名。

微博邮件

AnthropicBenchmarkAgents
返回实时消息

附近消息

全部

11/13 05:36

非营利组织联盟起诉OpenAI、谷歌与Anthropic,要求冻结前沿模型开发

由Public Citizen等非营利组织组成的联盟在旧金山高等法院提起诉讼,请求法院禁止OpenAI、谷歌、Anthropic等公司继续开发能力超越现有系统的AI模型。诉状援引加州《不公平竞争法》与公共妨害理论,主张在发生大规模伤亡事件之前,司法介入就是合理的。

11/13 05:31

IBM收购AuthMind,把AI智能体身份安全并入HashiCorp Vault

IBM已收购AuthMind,将身份可观测性与威胁检测能力并入HashiCorp Vault,用于覆盖AI智能体从身份建立到运行结束的整个生命周期。两家公司自2023年IBM Ventures参与其种子轮融资后一直合作,交易条款未披露。

11/13 05:27

Nebius公布2027年约400亿美元支出计划,靠客户预付款撑起扩张

Nebius在第三季度财报电话会上公布2027年约400亿美元的资本开支计划,远超华尔街预期,并打算主要依靠客户预付款和以客户合同为担保的贷款来为数据中心建设融资。但微软位于新泽西的站点已延期数月,公司虽实现571%的收入同比增长,股价当日仍下跌17%。

11/13 04:48

OpenAI 发布 Daybreak 红队与防御工厂:把渗透测试和补丁修复交给智能体

OpenAI 11 月 12 日推出两款安全产品:Daybreak Red Team 用智能体对企业 Web 应用做渗透测试,Daybreak Defense Factory 自动扫描代码库并生成可直接合并的补丁。总裁 Greg Brockman 称企业安全取决于所用前沿模型的能力;同一天多家非营利组织在旧金山起诉 OpenAI 等公司,要求停止开发更先进的系统。