Artificial Analysis 将编程智能体指数扩至 322 项任务

第三方评测机构 Artificial Analysis 更新了旗下的编程智能体指数，版本号推进到 v2.1。这一版把评测任务规模扩大到 322 项，并对测试内容做了刷新，规模与题面同时变了。

编程智能体指数评测的不是模型单独答题，而是智能体在真实编码环境里完成任务的能力：读代码、改文件、跑命令、根据报错回退重试。任务数量扩到 322 项，意味着覆盖的仓库形态、语言与故障类型都更宽。

刷新测试同样重要。编程题库长期面临污染与记忆化问题：题目一旦进入训练数据，分数上涨就不再等于能力上涨。v2.1 重做测试集，本质上是在把已经跑熟的题目换掉，让排名重新具备区分度。

同日报道给出的结果是，两款 Claude 模型在榜单顶部并列。这种并列通常说明头部差距已经小于评测本身的方差，单次排名不足以区分高低。

对采购方来说，这类指数的价值不在第一名，而在任务级细看。322 项任务的意义是能按语言、框架、调试与重构等维度拆开看，判断某个智能体在自己代码库的那类问题上是否可靠。

接下来要观察的是任务构成与评分方式是否公开到可复现的程度，以及各家智能体厂商会否针对新测试集重新调优。如果确实如此，下一轮分数上涨同样需要打折看待。