郭震 AI公众号:郭震AI

实时 AI 消息

OpenAI 公布多语言编码评测:20 种语言平均通过率 87%

OpenAI 公布 MultiLangBench 评测结果,其最新模型 GPT-6 Astra 在 20 种编程语言上的平均测试通过率达到 87.4%,远高于上一代 GPT-5.6 Sol 的 26.8%。配套的 COBOL 迁移评测要求输出逐字节一致,OpenAI 表示会把测试套件放到 GitHub 供开发者复核。

发布时间

OpenAI 公布了一套名为 MultiLangBench 的新评测结果,用来检验模型能否在不同编程语言中真正写出可运行的软件。据 EdTech Innovation Hub 10 月 27 日报道,其最新模型 GPT-6 Astra 在 20 种语言上的平均测试通过率达到 87.4%,较上一代 GPT-5.6 Sol 的 26.8% 出现大幅跃升。

这项评测的设计刻意避开了刷题式的小练习。模型需要在指定的编程语言中从零构建一个兼容 SQLite 的数据库引擎,自行组织代码结构、管理数据、处理错误并逐步补齐功能,最后把生成的数据库文件与 OpenAI 的参考实现逐项比对。

在最高推理强度下,GPT-6 Astra 的平均通过率为 87.4%,20 种语言中有 19 种超过 83%,只有 COBOL 仍是短板。改进覆盖了所有被测语言,而提升最明显的恰恰是上一代模型表现最吃力的那些。

OpenAI 同时测试了成本更低的 GPT-6 Luna。它的平均通过率为 40.3%,仍明显高于 GPT-5.6 Sol 的 26.8%,而单样本 API 成本估计为 0.77 美元,对照后者为 3.48 美元,约合 78% 的成本下降。能力与成本之间的这条权衡曲线,正是企业级编码团队最想算清楚的部分。

第二项评测换了问题:模型能否把现有 COBOL 程序翻译成 C++、Java、Kotlin、Python 或 Rust,而完全不改变程序行为。判定标准不是“能跑”,而是迁移后的程序必须产生逐字节一致的输出,任何一项隐藏测试失败都算不通过。GPT-6.1 Sol 在低推理强度下准确率为 86.6%,对比 GPT-5.6 Sol 同一设置下的 5.4%,估计 API 成本同时下降 39%;提高推理强度后准确率达到 97.9%。

这些语言之所以值得单独设一套评测,是因为它们公开的代码与文档远少于 Python、JavaScript。OpenAI 引用的数据显示,COBOL 支撑着超过 40% 的网上银行系统、80% 的刷卡交易和 95% 的 ATM 交易;Fortran 仍在天气预报与核反应堆安全分析中使用。这类系统往往文档缺失、原开发者早已离场,业务规则只存在于代码本身。

OpenAI 表示会把 MultiLangBench 的评测设置、测试套件和各语言结果放到 GitHub 上,让开发者自己检查测试用例。公司同时承认,这些成绩来自自家评测,并不等于已在生产环境的银行或其他关键系统中验证成功;真正的迁移仍需专家复核,并对现有业务规则与依赖关系做充分测试。

对开发者来说,真正的信号不是 87% 这个数字本身,而是评测把“冷门语言加遗留系统现代化”变成了可比较、可复现的公开指标。接下来值得观察的,是社区用同一套测试跑其他模型的结果,以及企业在真实迁移项目中愿意把多少工作交给模型。

为什么重要

若第三方用同一套测试复现出接近的结果,遗留系统迁移会成为编码模型最先落地的企业场景之一,也会进一步把评测标准的制定权集中到少数前沿实验室手中。

微博邮件

OpenAICodingBenchmark
返回实时消息

附近消息

全部