实时 AI 消息
消息称OpenAI通过系统底层优化将AI模型推理成本减半
据凤凰网援引消息，OpenAI通过系统底层优化，成功将AI模型的推理成本降低了一半。
发布时间
6月30日有消息称，OpenAI通过系统底层的深度优化，成功将AI模型的推理成本削减了50%。这一进展意味着在相同的算力预算下，OpenAI可以处理两倍的推理请求量，或者以更低的价格向用户提供服务。
据报道，此次优化并非简单的模型压缩或蒸馏，而是从系统底层（包括内核、调度器、内存管理等）入手进行的全面改进。这种软硬协同的优化路径为大模型的高效部署提供了新思路。
推理成本是当前制约大模型大规模商业化应用的关键因素之一。如果消息属实，OpenAI的成本减半将显著降低其API调用价格，对下游开发者和企业客户构成实质性利好，同时也将给竞争对手带来更大的定价压力。
目前OpenAI官方尚未就此消息发表正式回应。
为什么重要
OpenAI通过底层优化将推理成本减半，有望推动API价格进一步下降，加速AI应用的商业化落地，同时也将倒逼整个行业加大推理效率优化的投入。
附近消息
全部06/30 22:59
因算力容量紧张，Google切断Meta的Gemini AI访问权限
据MoneyCheck报道，Google因算力容量紧张（compute capacity crunch），切断了Meta对Gemini AI的访问权限。
06/30 23:00
播客平台Riverside进军Newsletter领域，推出AI驱动的内容生成功能
知名播客录制平台Riverside宣布用户可利用AI基于播客录音自动生成Newsletter，打通播客与邮件订阅两大内容渠道。
06/30 23:00
亚马逊成立10亿美元AI前沿部署组织，跟进OpenAI和Anthropic策略
亚马逊宣布成立一个名为FDE（Frontier Deployment Engineering）的新组织，投入10亿美元，工程师将进驻企业客户现场部署专用AI Agent。
06/30 23:00
NVIDIA推理软件栈如何实现最低Token成本
NVIDIA发布了新的推理软件栈，帮助AI工厂在保证延迟目标的同时，降低每Token的成本。