腾讯混元开源 Hy-SimulMT：同传延迟约 3 秒，可实时克隆说话人音色

腾讯混元发布并开源了 Hy-SimulMT：在说话人仍在讲话的过程中，模型就能把中文语音译成英文语音，反之亦然，并实时克隆说话人的音色，让听众听到接近原声的译文。据 IT Home 以及项目的 GitHub 和 Hugging Face 页面，该模型已率先在免费的 Hy Translate 应用中上线。

最关键的指标是延迟。腾讯采用流式翻译的标准指标 StreamLAAL 来测量，在长语音 RealSI 基准上给出约 3 秒，是其对比系统中最快的一个。项目方同时提示，StreamLAAL 并不等同于听众听到第一句译语所需的时间。作为参照，IT Home 称职业同传译员的典型延迟在 4 到 5 秒之间。

质量方面，Hy-SimulMT 在长语音上的 GEMBA 分数超过对比中的开源模型，也超过所测五个商业 API 中的四个。短句数据集上，它在 FLEURS 得 90.3 分、CoVoST2 得 75.5 分、ACL6060 得 81.2 分、RealSI-Sentence 得 84.7 分，最后一项为所有列出系统中最高的。

团队还与人类译员做了对比：素材是 18 段约六分钟的录音，录制时间从 2026 年 9 月起，覆盖 10 个领域；共有 6 名译员参与，其中 3 人持有中国 CATTI 一级口译证书，3 人持有二级证书，每个级别取最好成绩。腾讯称这是一次小规模评估。

广东外语外贸大学高级翻译学院副院长王巍巍在随发布发表的评论中表示，该系统先开口、再自我修正，很像人类译员的工作方式，并认为 AI 口译正在从“帮助人们听懂”走向低风险场景下“可用的沟通”。

发布形态上，模型是 30B-A3B 的混合专家架构，提供 FP8 与 GGUF 版本，以及会同时输出源语转写的 Interleave 变体，Hugging Face 模型卡标注 Apache 2.0 许可。腾讯随模型提供两个工具：基于 vLLM 构建的服务栈 SimulInfer，带网页界面、WebSocket API 和可选的文本转语音；以及用于在领域数据上继续训练的 SimulTrain。llama.cpp 的支持目前尚未合并。

对行业而言，这次发布的信号不在榜单分数，而在于实时语音翻译的延迟被压到接近人类同传的水平，而且模型、推理栈和训练工具被一起开源。3 秒级同传叠加音色克隆，会让“开着翻译说话”的体验更接近自然对话；但同一套机制也意味着翻译的错误会用说话人自己的声音说出来，标注与责任归属的问题会随之而来。

后续值得关注的几点：llama.cpp 等推理后端的支持何时合并、真实并发下的延迟与稳定性表现，以及这次小规模人工评测能否在更大规模的语向与场景中复现。官方把定位放在低风险场景，医疗、法律与外交等高风险场合显然还需要更严格的验证。