郭震 AI公众号:郭震AI

实时 AI 消息

OpenAI 公布 COBOL 迁移评测:GPT-6.1 Sol 准确率达 97.9%

Dataconomy 10 月 20 日报道,OpenAI 的 GPT-6.1 Sol 在其 COBOL 迁移测试中取得 97.9% 的准确率,低推理强度档位下也有 86.6%,而上一代模型仅 5.4%。这组数字来自 OpenAI 关于低资源编程语言的新评测,测试要求迁移后的程序在隐藏用例上做到输出逐字节一致。

发布时间

据 Dataconomy 10 月 20 日报道,OpenAI 的 GPT-6.1 Sol 在其 COBOL 迁移测试中取得 97.9% 的准确率。这一数字来自 OpenAI 前一天发布的技术博客《Advancing coding in low-resource programming languages》,讨论的是模型如何处理 COBOL、Fortran、Visual Basic 这类低资源编程语言。

OpenAI 为此设计了两套评测。一套是 COBOL 迁移评测:把现有 COBOL 程序改写成 C++、Java、Kotlin、Python 或 Rust,同时保持程序行为不变;另一套叫 MultiLangBench,要求模型用 20 种编程语言从零构建一个兼容 SQLite 的数据库引擎。前者考的是守住旧系统的行为,后者考的是从零写出新系统。

具体到 COBOL 迁移,GPT-6.1 Sol 在低推理强度下准确率为 86.6%,上一代 GPT-5.6 Sol 只有 5.4%,同时成本低约 39%;把推理强度调高之后,准确率升到 97.9%,按 OpenAI 的说法是几乎打满了这套评测。

97.9% 这个数字之所以被单独拎出来传播,是因为它对应的是一个长期被认为难以自动化的场景。COBOL 至今仍在大量银行核心系统、信用卡交易和 ATM 清算中运行,而这些系统往往文档缺失、原作者早已离职,业务规则只存在于代码本身。

也正因如此,评测的判定标准设得很严:迁移结果必须在隐藏测试上做到可观测输出的逐字节一致,任何一项不通过就算失败。OpenAI 在博客里举了一个典型陷阱——COBOL 的定点运算默认丢弃多余小数位,如果改写时顺手做了四舍五入,程序能跑通,财务结果却已经变了。

从 5.4% 到 97.9% 的跨度,说明提升很大程度上来自推理阶段的投入,而不是一个全新的模型代际。这带来一个更实际的问题:企业真正关心的是单位迁移成本,而不是峰值准确率,OpenAI 给出的低推理强度档位,正是冲着这个诉求去的。

OpenAI 同时把 MultiLangBench 的评测代码和分语言结果放到了 GitHub 上,开发者可以自己检查测试内容,以及自己在用语言上的短板。对遗留系统现代化改造这个市场来说,这意味着基准从厂商自述变成了可复现的公开测试。

后续看点有三个:高推理强度下的成本能否压到企业可接受的区间;在真实企业代码库而不是构造好的评测集上,是否还能维持接近的水平;以及其他厂商会不会跟进发布同类的 COBOL 迁移基准。

为什么重要

对仍依赖 COBOL 的银行、保险与公共系统来说,这意味着遗留系统迁移第一次有了可量化的能力曲线;但企业真正的决策变量仍是单位迁移成本与真实代码库上的稳定性。

微博邮件

OpenAIGPT-6.1 SolBenchmarkCoding
返回实时消息

附近消息

全部