实时 AI 消息
OpenAI 为 GPT-6 改进提示缓存
OpenAI 发布公告,介绍 GPT-6 在提示缓存方面的改进,包括更高的缓存命中率、新的诊断能力、显式断点以及更多控制项。这些变化的目标是降低延迟与调用成本,同时让缓存行为变得更容易观察和调整。
OpenAI 发布技术公告,介绍 GPT-6 在提示缓存上的改进,覆盖更高的缓存命中率、新的诊断能力、显式断点以及额外的控制项。
提示缓存的原理并不复杂:当多次请求共享同一段前缀时,把这段内容的状态保留下来,后续请求就不必从头重新计算。命中率越高,被复用的重复部分越多,节省也就越明显。
公告列出的四项变化各有指向。更高的缓存命中率意味着更多重复前缀能被真正复用;诊断能力则让开发者能看到缓存到底有没有命中,以及在没命中时问题出在哪里。
显式断点把“从哪里开始缓存”的决定权交回给开发者。过去这类边界往往依赖系统自动推断,开发者只能猜测;显式声明让长提示、系统指令与固定上下文的分层变得清楚可控。
控制项补齐了策略层面。团队可以按请求类型、业务线或成本目标调整缓存行为,而不必接受一刀切的默认设置。
这些改进最终都指向两个可量化的结果——延迟与费用。对于把大模型接入生产系统的团队来说,缓存命中率的每一次提升都会直接体现在响应时间和账单上,尤其是在长系统提示或多轮对话的场景中。
接下来值得观察的是,开发者在显式断点上会形成什么样的实践惯例,以及缓存诊断数据会如何被纳入现有的可观测性体系。
为什么重要
缓存命中率的提升会直接压低长提示场景下的响应时间与推理开销。显式断点和诊断能力则把缓存从“黑盒默认行为”变成了可调可测的工程参数。
附近消息
全部09/23 05:56
Snorkel AI 完成 3.5 亿美元 E 轮融资,估值升至 35 亿美元
据 TechCrunch 报道,成立七年的 Snorkel AI 完成 3.5 亿美元 E 轮融资,估值升至 35 亿美元。这家公司主打「数据即服务」的 AI 训练数据方案,此轮融资发生在市场对高质量训练数据需求快速上升的背景下。
09/23 04:00
高通发布两款主打 AI 的新手机芯片
高通推出两款新的智能手机芯片,并把端侧 AI 能力作为主要卖点。公司表示,其中定位最高的那颗芯片能够在本地运行 300 亿参数的混合专家模型,这意味着部分大模型推理可以不再依赖云端。
09/23 03:09
Meta 承认 Muse 与 OpenClaw 相似并非巧合
TechCrunch 报道,Meta 承认其 AI 助手 Muse 与 OpenClaw 的相似并非巧合,并称 Muse 深受 OpenClaw 启发。据该报道,相似之处甚至延伸到部分工作区文件名与文件内容。
09/23 08:00
OpenAI 与 Grab 合作,为东南亚 3 万名合作伙伴培训实用 AI 技能
OpenAI 与 Grab 联合推出区域性项目 GO Forward with AI,计划帮助东南亚地区 30,000 名合作伙伴掌握实用的 AI 技能。公告把重点放在真实工作场景的能力培养上,但尚未披露课程内容、覆盖国家、时间表与参与费用等细节。