实时 AI 消息
METR 更新“时间跨度”图表:指数进步仍在,判断力仍是短板
AI 评估机构 METR 更新了其被广泛引用、也常被误读的“时间跨度”图表,加入耗时更长、更开放的任务,首次系统考察模型在缺乏自动判定标准的工作上的表现。报告发现,模型在编程等可验证任务上仍在指数级进步,但在设计评测、评判论证等需要判断力的任务上依然低于人类水平。

11月20日,AI 评估非营利机构 METR 发布了其“时间跨度”(time horizon)图表的最新版本,MIT Technology Review 当天刊出报道。这份图表此前被政策与安全讨论反复引用,也因指标本身复杂而被广泛误读:它用“模型能独立完成多长的人类任务”来衡量能力,把不同模型放到同一条坐标轴上比较。
方法并不神秘。METR 让模型尝试一整套任务,每个任务此前都由人类完成过;任务难度按人类测试者完成它所需的时间计分,模型则按它能完成的任务时长获得评级。旧版图表显示,前沿模型的能力沿着相当陡峭的指数曲线上升,能完成任务的时间跨度以数月为周期稳定翻番。
新版图表扩充了任务集:一部分任务估计需要人类花费远多于原任务集的时间,另一部分更开放、没有唯一正确答案。这次扩容针对的是当前最关键的问题之一——在“可验证”任务上取得的进步,究竟有多少能迁移到成败难以自动判定的任务上。
差别来自训练机制。对可验证任务,研究者可以让模型反复尝试,强化通往成功的神经通路、削弱导致失败的路径,这正是 AI 在编程和数学上进步飞快的原因。而像“选择一个研究方向”这类成功标准模糊、反馈周期漫长的任务,强化学习很难施展,评估同样困难,因此旧版图表干脆没有收录。
新报告中的两个任务能说明问题。其一,模型被要求为 METR 设计新的 AI 评测方法,再由 METR 员工打分——尽管最先进的模型在软件工程上已强于几乎所有人类,却没有一个 AI 设计的评测被认为足够有用。其二,模型要给哲学论证打分,以此衡量判断力,结果同样低于人类水平;报告也承认,METR 内部对该任务与研究自动化是否相关存在分歧。
外部研究者对这次扩容持欢迎态度。计算机科学家、即将入职加州大学伯克利分校的 Sayash Kapoor 表示,AI 评估“到了需要更有创意的阶段”,把评估边界往前推是值得肯定的变化。但他也提醒,外界对“可验证任务”与“难以验证任务”表现差异的解读仍有分歧:有人认为研究品味会成为自动化 AI 研发的主要瓶颈,也有人相信在易验证任务上训练出的模型终将迁移到开放式任务。
局限同样明显。为避免让人去做动辄数百小时的任务,新版图表中多数任务的完成时间来自估算而非实测;哲学论证任务的大部分样本只有一个人打分,模型得分实际上取决于它与这一个人的一致程度。METR 技术团队成员 Matt Putz 在邮件中表示,难以验证或依赖判断力的任务“本质上更难研究、也更难量化”,恐怕无法像易定义任务那样建立干净稳健的趋势。
不过报告给出了方向性信号:最新一代模型在评测设计任务上已开始出现 METR 所称的“略高于门槛”表现,还不能用于实际研究,但已有苗头;而一年前,所有模型都停留在“明显低于门槛”。由于这类任务数量少、评分难,这一趋势能否外推仍是开放问题。
模型在可自动判定对错的任务上进步依旧迅猛,但在需要判断力的开放式任务上仍未跨过人类基线,而后者恰恰是自动化 AI 研发最需要的能力。接下来值得观察的是:METR 能否把这类开放式任务做成可重复、可比较的评测,以及当模型真正跨过门槛之后,这条曲线会不会像编程能力一样陡峭。
为什么重要
它把“能力变强”和“能否胜任需要判断力的工作”分开衡量,为判断 AI 研发自动化叙事提供了更可检验的标尺。
附近消息
全部11/21 01:53
Google用Gemini清掉消防无线电杂音,Watch Duty山火调度30秒内可识别
Google在11月20日的官方博客中介绍,与非营利山火预警应用Watch Duty合作的Gemini工具已投入使用,能把充满静电噪声的消防无线电通话转成可检索文本,让新的山火调度在30秒内被标记。降噪后音频的词错率从38%降到22.34%,志愿报道员对转写工具的满意度从35.3%升到92.3%。
11/21 01:49
Arena更新对齐指数方法论:OpenAI模型包揽七个最高位
11月20日,Arena更新了其Alignment Index的信号检测方法,官方称调整后覆盖面更广、判断更可靠,而在新方法下OpenAI的模型占据了全部七个最高位。该指数以真实智能体会话中的未授权动作、错误归因与虚假完成三类可观测失败为评分基础,此次排名变化再次说明这类评测对方法论高度敏感。
11/21 01:03
Signal 默认拦截截图,阻止系统级 AI 智能体读取聊天
11 月 20 日,Signal 宣布在 iOS 27 上默认阻止应用内截图,并在 Android 检测到 AI 助手读取屏幕时自动开启防护,理由是系统级智能体会把聊天内容捕获后交给本地或远程数据库。Signal 承认该方案既不完整,macOS 上也无法实现,并公开呼吁苹果、谷歌、微软为开发者提供排除 AI 数据访问的工具。
11/21 00:41
苹果被曝开发可写代码、可操作 App 的 AI Agent
多家媒体11月20日报道,苹果正在开发一款能够编写代码并操作各类 App 的 AI Agent,形态与当前主流厂商的智能体产品方向一致。报道同时被解读为苹果不打算继续缺席 AI 竞赛的信号,但苹果尚未公布该产品的发布时间、模型来源与落地形态。