实时 AI 消息
OpenAI 公布多语言编码评测:20 种语言平均通过率 87%
OpenAI 公布 MultiLangBench 评测结果,其最新模型 GPT-6 Astra 在 20 种编程语言上的平均测试通过率达到 87.4%,远高于上一代 GPT-5.6 Sol 的 26.8%。配套的 COBOL 迁移评测要求输出逐字节一致,OpenAI 表示会把测试套件放到 GitHub 供开发者复核。
OpenAI 公布了一套名为 MultiLangBench 的新评测结果,用来检验模型能否在不同编程语言中真正写出可运行的软件。据 EdTech Innovation Hub 10 月 27 日报道,其最新模型 GPT-6 Astra 在 20 种语言上的平均测试通过率达到 87.4%,较上一代 GPT-5.6 Sol 的 26.8% 出现大幅跃升。
这项评测的设计刻意避开了刷题式的小练习。模型需要在指定的编程语言中从零构建一个兼容 SQLite 的数据库引擎,自行组织代码结构、管理数据、处理错误并逐步补齐功能,最后把生成的数据库文件与 OpenAI 的参考实现逐项比对。
在最高推理强度下,GPT-6 Astra 的平均通过率为 87.4%,20 种语言中有 19 种超过 83%,只有 COBOL 仍是短板。改进覆盖了所有被测语言,而提升最明显的恰恰是上一代模型表现最吃力的那些。
OpenAI 同时测试了成本更低的 GPT-6 Luna。它的平均通过率为 40.3%,仍明显高于 GPT-5.6 Sol 的 26.8%,而单样本 API 成本估计为 0.77 美元,对照后者为 3.48 美元,约合 78% 的成本下降。能力与成本之间的这条权衡曲线,正是企业级编码团队最想算清楚的部分。
第二项评测换了问题:模型能否把现有 COBOL 程序翻译成 C++、Java、Kotlin、Python 或 Rust,而完全不改变程序行为。判定标准不是“能跑”,而是迁移后的程序必须产生逐字节一致的输出,任何一项隐藏测试失败都算不通过。GPT-6.1 Sol 在低推理强度下准确率为 86.6%,对比 GPT-5.6 Sol 同一设置下的 5.4%,估计 API 成本同时下降 39%;提高推理强度后准确率达到 97.9%。
这些语言之所以值得单独设一套评测,是因为它们公开的代码与文档远少于 Python、JavaScript。OpenAI 引用的数据显示,COBOL 支撑着超过 40% 的网上银行系统、80% 的刷卡交易和 95% 的 ATM 交易;Fortran 仍在天气预报与核反应堆安全分析中使用。这类系统往往文档缺失、原开发者早已离场,业务规则只存在于代码本身。
OpenAI 表示会把 MultiLangBench 的评测设置、测试套件和各语言结果放到 GitHub 上,让开发者自己检查测试用例。公司同时承认,这些成绩来自自家评测,并不等于已在生产环境的银行或其他关键系统中验证成功;真正的迁移仍需专家复核,并对现有业务规则与依赖关系做充分测试。
对开发者来说,真正的信号不是 87% 这个数字本身,而是评测把“冷门语言加遗留系统现代化”变成了可比较、可复现的公开指标。接下来值得观察的,是社区用同一套测试跑其他模型的结果,以及企业在真实迁移项目中愿意把多少工作交给模型。
为什么重要
若第三方用同一套测试复现出接近的结果,遗留系统迁移会成为编码模型最先落地的企业场景之一,也会进一步把评测标准的制定权集中到少数前沿实验室手中。
附近消息
全部10/27 06:55
GammaDX设立AI代理体验设计业务,首份指数显示50家澳洲网站仅12家达标
澳洲数字体验机构GammaDX成立专门的AI代理体验设计(AXD)业务,并发布首份Gamma AXD指数。该指数以100分制评估五个行业共50家澳洲网站,只有12家被评为agent ready,没有任何一家真正为代理代为操作做好准备。
10/27 06:52
Ollama for Mac 新增本地文本转语音模型支持
9to5Mac 报道,Mac 版 Ollama 新增对本地文本转语音模型的支持,语音合成可以像跑语言模型一样在本机完成。这把 Ollama 的本地运行时从文本生成延伸到语音输出,对离线与内网场景尤其有意义。
10/27 06:02
Google 自家榜单给 Gemini 4 Argon 打分:Android 编码排名第五
Google 在 10 月 26 日更新 Android Bench 榜单,首次把自家 Gemini 4 Argon 纳入排名,结果位列第五,通过率明显落后于 Claude 与 GPT-6 系列。9to5Google 指出,这款旗舰模型在自家第一方基准上远远落后于其他前沿模型。
10/27 06:00
Greptile 用 GPT-6 Astra 把缺陷检测推进到代码审查之外
OpenAI 发布客户案例,介绍 Greptile 如何用 GPT-6 Astra 执行真实用户工作流来做缺陷检测,并以 Daybreak 强化安全、用 Codex 减少返工。这标志着 AI 代码审查正从阅读代码差异,走向实际跑通用户操作路径。