SemiAnalysis 发布真实工作基准：没有 AI 智能体得分超过 12%

据 the-decoder.com 11月5日报道，SemiAnalysis 发布了一个新的智能体评测基准，测试内容围绕真实工作任务展开。报道给出的结论很直接：没有任何 AI 智能体在该基准上的得分超过 12%。

这类基准的取向和常见的考试题式评测不同。它不拆成单点问答，而是把一项完整工作交给智能体从头做到尾，看最后交付物能否被接受。分数因此更接近“能不能顶一个岗位的一天”，而不是“某个子任务答对了没有”。

12% 这个上限真正说明的是：在端到端任务里，能完整交付的智能体屈指可数，部分完成并不等于交付。把流程跑通一半、留下需要人工收尾的残局，在实际业务中通常不算完成任务。

这个结果与当下产品叙事之间存在明显落差。演示环境里智能体可以连续调用工具、跨系统操作并给出漂亮结果；一旦换成没有预先裁剪过的真实任务，链路上的每一个模糊指令、每一次接口失败都会累积成误差。

不过单一分数也不宜直接外推成“智能体无用”。报道没有展开任务数量、评分标准、允许的人工介入程度以及是否为单次尝试，而这些设定对最终数字的影响往往比模型本身更大。

真正值得关注的是可复现性。SemiAnalysis 是否公开任务集、评分脚本与失败案例，决定了这个基准会成为行业标尺，还是又一个只能引用、无法验证的数字。对采购方来说，能自己重跑的评测才有决策价值。