消息称OpenAI通过系统底层优化将AI模型推理成本减半

6月30日有消息称，OpenAI通过系统底层的深度优化，成功将AI模型的推理成本削减了50%。这一进展意味着在相同的算力预算下，OpenAI可以处理两倍的推理请求量，或者以更低的价格向用户提供服务。

据报道，此次优化并非简单的模型压缩或蒸馏，而是从系统底层（包括内核、调度器、内存管理等）入手进行的全面改进。这种软硬协同的优化路径为大模型的高效部署提供了新思路。

推理成本是当前制约大模型大规模商业化应用的关键因素之一。如果消息属实，OpenAI的成本减半将显著降低其API调用价格，对下游开发者和企业客户构成实质性利好，同时也将给竞争对手带来更大的定价压力。

目前OpenAI官方尚未就此消息发表正式回应。