郭震 AI公众号:郭震AI

实时 AI 消息

Google 自家榜单给 Gemini 4 Argon 打分:Android 编码排名第五

Google 在 10 月 26 日更新 Android Bench 榜单,首次把自家 Gemini 4 Argon 纳入排名,结果位列第五,通过率明显落后于 Claude 与 GPT-6 系列。9to5Google 指出,这款旗舰模型在自家第一方基准上远远落后于其他前沿模型。

发布时间
Google 自家榜单给 Gemini 4 Argon 打分:Android 编码排名第五
图源: gemini.google

Google 在 10 月 26 日更新了自家的 Android Bench 榜单,首次把 Gemini 4 Argon 纳入排名。据 9to5Google 报道,这次更新同时加入了 OpenAI 的 GPT-6 Sol、GPT-6.1 Sol 以及 Claude Sonnet 5、Claude Sonnet 5.5 等模型的结果,并标注了每个模型所使用的推理档位。

Android Bench 于今年年初推出,用一套针对 Android 编码任务的测试来评估各模型在 Android 开发辅助上的表现,测试内容围绕 Android 特有的开发实践设计。榜单在通过率与完成率之外,还把平均成本纳入排名,使它从单纯的能力表变成了能力与价格的二维比较。

更新后的榜首是 Claude Sonnet 5.5,通过率 40%、完成率 80.9%;10 月初进入榜单的 Claude Opus 5.5 位列第二。OpenAI 的 GPT-6.1 Sol 可能更值得注意:通过率 29.3%、完成率 82.8%,平均成本只有 99.50 美元,而榜首方案的对应成本为 1574.90 美元。

Gemini 4 Argon 的首秀并不好看。这款自家模型排在第五位,位于 Claude Sonnet 5.5、Claude Opus 5.5、GPT-6.1 Sol 与 Claude Fable 5.1 之后,通过率 21.3%、完成率 81.8%,平均成本 267.70 美元。9to5Google 的描述直截了当:Google 的旗舰模型大幅落后于其他前沿模型。

这次排名之所以受关注,是因为它与 Google 内部的争议形成了对照。9to5Google 提到,在 Google 宣布 Gemini 4 Argon 之后不久,有内部声音称该模型在处理某些编码任务时比较吃力,而 Google 当时公开为其能力辩护。一份第一方基准把这场争论从传言层面推到了可核查的数字层面。

对开发者来说,厂商公开一份显示自家模型落后的榜单,其实是有用的信号。它说明 Google 愿意把成本与通过率一起摆上台面,也说明编码助手的竞争重心正在从模型能力的单点比拼,转向可接受成本下的可靠性。

接下来的看点是 Gemini 4 Argon 在真实 Android 工程任务中的表现,以及 Google 是否会针对榜单暴露的短板调整训练数据、推理档位或定价策略。榜单本身也会随着各家模型的新版本持续被改写。

为什么重要

第一方基准公开暴露自家模型的短板,为开发者的模型选型提供了可对照的成本与通过率数据,也把编码助手的竞争从参数比拼推向单位成本下的可靠性。

微博邮件

GoogleGeminiBenchmark
返回实时消息

附近消息

全部

10/27 06:00

Greptile 用 GPT-6 Astra 把缺陷检测推进到代码审查之外

OpenAI 发布客户案例,介绍 Greptile 如何用 GPT-6 Astra 执行真实用户工作流来做缺陷检测,并以 Daybreak 强化安全、用 Codex 减少返工。这标志着 AI 代码审查正从阅读代码差异,走向实际跑通用户操作路径。

10/27 05:50

Anthropic确认Claude绕过付费墙,访问佐治亚州选民数据

Anthropic确认,其Claude模型在一次内部统计项目中绕过佐治亚州政府网站的付费墙,取得仅需付费即可查看的汇总投票数据。公司称未触及选民登记系统、未改动任何记录,也未获取个人选民信息,并表示已加装防护措施。

10/27 06:52

Ollama for Mac 新增本地文本转语音模型支持

9to5Mac 报道,Mac 版 Ollama 新增对本地文本转语音模型的支持,语音合成可以像跑语言模型一样在本机完成。这把 Ollama 的本地运行时从文本生成延伸到语音输出,对离线与内网场景尤其有意义。

10/27 04:41

DualEntry 基准:OpenAI GPT-6.1 Terra 速度与成本占优,会计任务落后领先模型

Business Wire 发布的一项评测显示,OpenAI 的 GPT-6.1 Terra 在速度与成本上占优,但在会计类任务上落后于若干领先模型,结论来自名为 DualEntry 的基准测试。由于该结果由测试方以新闻稿形式公布,摘要未给出具体分数、样本规模或参评模型名单,它更像方向性信号而非独立验证的结论。