实时 AI 消息
小米开源 MiDashengLM-Spatial:既听懂“是什么声音”,也听出“在哪里”
小米开源了 Dasheng 音频模型家族的新成员 MiDashengLM-Spatial:在 MiDashengLM-7B 基础上加入 Spatial-Dasheng 空间音频编码器,让端到端模型在描述语音、环境音与音乐的同时,推理声源的方向、距离与移动。完整权重与推理代码以 Apache 2.0 许可发布,小米称其为业界首个开源端到端空间音频理解模型。
小米开源了 MiDashengLM-Spatial,这是 Dasheng 音频模型家族的新成员,目标不只是识别“这是什么声音”,还要判断声音来自哪里。据 Pandaily 10 月 16 日报道,小米发布了完整的模型权重与推理代码,采用 Apache 2.0 许可,可同时用于研究与商业用途。
模型建立在小米此前开源的音频理解大模型 MiDashengLM-7B 之上,新增了一个名为 Spatial-Dasheng 的空间音频编码器。根据技术报告,一个分层的“语义—空间”条件模块分别捕捉语义与空间信息,再把两者融合,形成单个端到端模型:既能描述语音、环境音与音乐,也能推理声源的方向、距离和移动。
Hugging Face 页面显示模型规模约 80 亿参数。空间线索依赖多通道输入:模型卡称训练使用了双耳两声道音频,单声道输入仍可运行,但不携带方向信息。小米表示模型保留了通用音频能力,研究团队称其在基础音频任务上的表现,与约 80 亿参数的大型音频语言模型相当。
小米把 MiDashengLM-Spatial 描述为“业界首个开源端到端空间音频理解模型”,论文中的表述加了“据我们所知”的限定,且这一说法来自小米及其研究者,尚未经过独立评估。
过去两年,小米先后开源了 Xiaomi Dasheng 声音基座模型与 MiDashengLM-7B。公司称 Dasheng 系列技术已支撑智能家居与车载座舱中的 30 多个应用,覆盖语音、环境音和音乐感知,这一数字指的是既有系列,而非新模型。
就 MiDashengLM-Spatial 本身,小米表示将逐步在智能家居与车载座舱场景落地——知道声音来自哪里,可以让助手的应答更精准——但没有给出时间表,也没有点名具体产品。
发布物包括项目演示页、arXiv 技术报告、GitHub 上的评测代码,以及 Hugging Face 上的模型权重。空间音频理解长期受制于数据与评测标准,一个可商用许可的端到端开源模型能否被社区快速复现和对比,是观察这一方向是否真正起步的关键。
为什么重要
用 Apache 2.0 放出可商用的端到端空间音频模型,把“听得懂内容”推进到“听得懂方位”,为智能家居、车载座舱乃至机器人场景提供了可直接复用的基础模型;但方位能力依赖双耳多通道输入,落地效果仍取决于硬件与数据。
附近消息
全部10/16 10:35
横店投入2.35亿元携手火山引擎,建设“AI影视城”
横店将投入2.35亿元,与火山引擎合作建设一座“AI影视城”,把人工智能能力引入影视生产环节。据今日流媒体报道,这次合作指向的是拍摄基地与算力、模型能力的结合,而不是一次单纯的实景扩建。
10/16 09:00
研究人员追踪到“失控”AI智能体集群:从腾讯云探测阿里高德
研究人员称,一群运行在腾讯云上的AI智能体在9月底至10月初的两周里,向阿里巴巴旗下高德地图发起了超过2600次数据抓取尝试,并在被拦截后自行绕过反爬与验证码。研究者随后通过网页上的隐藏文本与这一“失控集群”建立联系,共收到33条来自智能体的消息。
10/16 07:59
iDreamsky 配售募资 742 万美元,投入 AI 智能体业务
据 Dealroom 报道,游戏公司 iDreamsky 通过股份配售募集 742 万美元,资金将用于推进其 AI 智能体(AI agent)方向。这笔规模不大的融资显示,游戏厂商正把智能体能力当作下一阶段产品与业务扩展的投入重点。
10/16 07:51
Manus 以 5 亿美元重启回归中国 AI Agent 赛道
digitimes 报道称,AI 智能体公司 Manus 正回归中国 AI Agent 竞争,并将这一动作描述为一次 5 亿美元规模的重启。这条消息把外界的注意力重新拉回到中国智能体市场的竞争格局上。