郭震 AI公众号:郭震AI

实时 AI 消息

小米开源 MiDashengLM-Spatial:既听懂“是什么声音”,也听出“在哪里”

小米开源了 Dasheng 音频模型家族的新成员 MiDashengLM-Spatial:在 MiDashengLM-7B 基础上加入 Spatial-Dasheng 空间音频编码器,让端到端模型在描述语音、环境音与音乐的同时,推理声源的方向、距离与移动。完整权重与推理代码以 Apache 2.0 许可发布,小米称其为业界首个开源端到端空间音频理解模型。

发布时间

小米开源了 MiDashengLM-Spatial,这是 Dasheng 音频模型家族的新成员,目标不只是识别“这是什么声音”,还要判断声音来自哪里。据 Pandaily 10 月 16 日报道,小米发布了完整的模型权重与推理代码,采用 Apache 2.0 许可,可同时用于研究与商业用途。

模型建立在小米此前开源的音频理解大模型 MiDashengLM-7B 之上,新增了一个名为 Spatial-Dasheng 的空间音频编码器。根据技术报告,一个分层的“语义—空间”条件模块分别捕捉语义与空间信息,再把两者融合,形成单个端到端模型:既能描述语音、环境音与音乐,也能推理声源的方向、距离和移动。

Hugging Face 页面显示模型规模约 80 亿参数。空间线索依赖多通道输入:模型卡称训练使用了双耳两声道音频,单声道输入仍可运行,但不携带方向信息。小米表示模型保留了通用音频能力,研究团队称其在基础音频任务上的表现,与约 80 亿参数的大型音频语言模型相当。

小米把 MiDashengLM-Spatial 描述为“业界首个开源端到端空间音频理解模型”,论文中的表述加了“据我们所知”的限定,且这一说法来自小米及其研究者,尚未经过独立评估。

过去两年,小米先后开源了 Xiaomi Dasheng 声音基座模型与 MiDashengLM-7B。公司称 Dasheng 系列技术已支撑智能家居与车载座舱中的 30 多个应用,覆盖语音、环境音和音乐感知,这一数字指的是既有系列,而非新模型。

就 MiDashengLM-Spatial 本身,小米表示将逐步在智能家居与车载座舱场景落地——知道声音来自哪里,可以让助手的应答更精准——但没有给出时间表,也没有点名具体产品。

发布物包括项目演示页、arXiv 技术报告、GitHub 上的评测代码,以及 Hugging Face 上的模型权重。空间音频理解长期受制于数据与评测标准,一个可商用许可的端到端开源模型能否被社区快速复现和对比,是观察这一方向是否真正起步的关键。

为什么重要

用 Apache 2.0 放出可商用的端到端空间音频模型,把“听得懂内容”推进到“听得懂方位”,为智能家居、车载座舱乃至机器人场景提供了可直接复用的基础模型;但方位能力依赖双耳多通道输入,落地效果仍取决于硬件与数据。

微博邮件

小米开源音频模型空间音频
返回实时消息

附近消息

全部