郭震 AI公众号:郭震AI

实时 AI 消息

OpenAI发布LifeVal基准,衡量AI能否真正帮人办成日常事务

OpenAI于11月2日发布名为LifeVal的新基准,用于衡量AI在寻找托儿服务、管理个人财务、处理政府文书等日常事务中究竟能帮人完成多少实际工作。与以封闭题目为主的评测不同,这一基准把重心放在任务是否真正办成,反映出AI评测正从知识问答转向真实生活场景。

发布时间

OpenAI于11月2日在其官网发布名为LifeVal的新基准,用来衡量AI在多大程度上能真正帮人完成日常事务。按照官方简介,这些事务包括寻找托儿服务、管理个人财务以及处理政府文书等,都是需要多步操作、跨平台查证并做取舍的现实任务。

这类任务与过去常见的评测题有明显差别。题目式基准通常给出一个封闭问题,答案对错清晰;而找托儿服务要先筛选地点、价格与时间,再核对口碑和空位,管理财务要在收支、账单与风险之间做权衡,政府文书则涉及表格、资格条件与提交时限。

正因如此,LifeVal的定位更像是在测“事情有没有办成”,而不是“回答得像不像”。对普通用户来说,一个助手能否把流程推进到可提交、可执行的状态,比它能否复述政策条款更有意义;这也解释了为什么基准的描述把重点放在任务完成上。

把评测重心从知识问答移向生活场景,是近两年AI评测的一条主线。随着模型在标准化考试、竞赛题和代码题上的分数不断逼近上限,这些榜单能提供的区分度在下降,团队需要新的、更难被记忆和刷分的任务集,来判断系统在开放环境中的实际能力。

LifeVal的出现也把一个老问题摆到台面上:生活类任务的评价标准由谁来定。同一个“帮我处理政府文书”的请求,在不同地区、不同家庭状况下路径完全不同,评分既要看结果是否正确,也要看过程是否合规、是否让用户承担了不必要的风险。

目前公开信息集中在基准的定位与覆盖范围,具体任务集、评分方式以及结果是否公开等细节还有待更多披露。对开发者而言,值得关注的是它会不会成为衡量智能体产品的一条通用标尺;对用户而言,真正的检验是这些助手能否在真实账单和真实截止日期前不掉链子。

接下来要看的是采用情况。如果模型厂商和智能体团队开始把LifeVal纳入发布时的自评,日常事务的处理能力就会像代码能力一样被摆到同一张桌子上比较,而这正是过去几年评测体系里相对空白的一块。

为什么重要

LifeVal把评测焦点从答题转向办事,可能推动智能体产品以端到端完成率作为核心指标;短期看点是任务集细节与厂商是否在发布时采用该基准。

微博邮件

OpenAIBenchmarkAgent
返回实时消息

附近消息

全部

11/02 17:50

阿里云为非洲首届青奥会提供云与AI支持

据Macau Business报道,阿里巴巴将为首次在非洲举办的青年奥林匹克运动会提供云计算与人工智能支持。这一合作把赛事运行背后的数字底座交给中国云厂商,也让AI在大型综合运动会中的角色进一步具体化。

11/02 17:51

Anthropic为Claude Code加上两句话,阻止AI克隆电子游戏

据BeInCrypto报道,Anthropic在Claude Code中加入了两句新的提示语,目的是阻止该编程代理被用来复刻现有电子游戏。这一改动规模极小,却直接指向生成式编程工具在知识产权与内容复制上的灰色地带,也说明厂商正把使用边界写进产品本身。

11/02 15:50

美团发布LongCat-2.5:1.6万亿参数原生多模态模型落地「国芯国模」

美团LongCat团队11月2日正式发布新一代大模型LongCat-2.5,总参数量达1.6万亿,定位为原生多模态模型。新模型强化了长程智能体任务、看图编程与复杂项目开发能力,并被官方与媒体放在「国芯国模」的框架下解读。

11/02 15:50

Oracle 推出可由 AI 智能体直接使用的 Fusion 应用配置注册表

Oracle 发布面向 Fusion Cloud Applications 的「AI Agent-Ready」设置与配置能力,把实施环节的配置知识整理成智能体可直接调用的注册表,目标是加快应用上线速度。多家行业媒体将其描述为面向 Fusion 实施的 AI 技能注册表,认为这指向企业软件交付方式的一次结构性变化。