OpenAI详解GPT-Live实时语音系统：移除轮次检测器，全双工模型实现连续对话

OpenAI发布技术博客，详细拆解了第三代语音系统GPT-Live的构建过程——这套支撑ChatGPT Voice的实时语音架构，由团队用六个月时间从零搭建完成。与以往“先检测、再回复”的轮次式语音系统不同，GPT-Live把全双工语音模型直接置于对话核心，可以同时听和说，对话节奏更接近真人。

过去语音AI依赖被称为“轮次检测器”的小模型决定何时开口：猜得太早会打断用户，猜得太晚又显得迟钝，而且只有检测器做出判断后，更大的语言模型才能开始工作。GPT-Live则把检测器从音频路径中移除，消除了这一瓶颈；当需要更深的推理或工具调用时，它可以异步调用GPT-5.5等前沿模型，而不会打断对话的连贯性。

为了支撑这种连续对话体验，OpenAI重构了推理、上下文管理与媒体传输三层架构。系统把媒体流与应用逻辑彻底分离：音频在客户端与语音模型之间的专用快速通道上传送，委托调用、工具使用等工作则通过异步RPC边界在后台完成，即使某个工具调用缓慢，也不会拖住实时语音流。

团队用Go重写了媒体前端和推理逻辑，取代了此前的Python asyncio实现，帧传输的p95延迟追平了上一代系统的p50。传输层基于WebRTC，可容忍丢包、时钟漂移和连接变化；会话建立方面，新设计的Instant Connect把信令交换移出关键路径，客户端现在只需发出一个UDP数据包就能启动会话。

针对长时间语音会话，OpenAI构建了有状态推理与实例无缝切换机制：需要时可以并行预热新模型实例并预填当前上下文，就绪后切换而不中断媒体流；上下文超出限制时的压缩也被视为一次受管切换，让长通话可以持续进行。

这些工作还延伸到了协议层面。OpenAI设计了名为WARP的开放规范，正在推进IETF的TSVWG工作组，libwebrtc和Pion已加入支持；Instant Connect则在不改动现有WebRTC实现的前提下预先协商参数。

目前GPT-Live已支撑ChatGPT Voice的多项能力，包括新推出的桌面端控制电脑、协调Agent功能；官方还透露，这套架构将支撑即将到来的GPT-Live API，并逐步扩展到更多设备、应用与模态。对行业而言，GPT-Live的意义在于把语音交互从“一问一答”推进到“持续对话”：更低的延迟、更高的自然度，正在成为语音助手产品的新基线，也预示着实时交互将成为大模型应用的基础平台能力。