Meta 开源 Muse Spark Open：约 8160 亿参数多模态 MoE 模型上线

10 月 15 日，Hugging Face 博客发布《Welcome Muse Spark Open》一文，宣布 Meta 的开放权重模型 Muse Spark Open 上线，并在文中给出完整的使用、微调与部署方案。模型以两个 checkpoint 形式发布：Muse-Spark-Open-816B-A42B（BF16）与 Muse-Spark-Open-816B-A42B-NVFP4。

按博客披露的规格，Muse Spark Open 是一个混合专家（MoE）模型，总参数约 8160 亿，每个 token 激活约 420 亿，上下文窗口最高 100 万 token。它可以接收文本、图像、音频和视频输入，输出为文本，开发者因此可以用统一接口询问不同类型的内容。

它属于 Muse 系列的全尺寸版本。Meta 在 8 月发布的 Muse Glimmer 是同一系列的小型稠密模型，适合本地运行，两者共用同一套分词器与词表。Muse Spark Open 把每一层的稠密前馈网络换成 MoE 模块：每个 MoE 块有 256 个专家，路由器为每个 token 选择 8 个，专家承担了约 97% 的总参数。语言模型共 62 层，隐藏维度 8192，注意力部分有 128 个查询头和 16 个键值头，属于分组查询注意力。

博客称该模型针对智能体编程训练：读代码库、写和调试代码、调用工具，并能在长任务中自行规划、执行、观察与纠错，包括带着图像浏览网页。由于它同时能读截图、听语音、看屏幕录制，同一个模型可以在处理代码时理解这些多模态线索。Hugging Face 在文中称它是迄今最强的美国开放权重模型。

多模态能力由两个独立编码器支撑。感知编码器有 18 亿参数、50 层、隐藏维度 1536、16 个注意力头，把每张图像切成 14×14 的 patch 并输出 4096 维特征，视频帧走同一套编码路径；音频侧由音频编码器与分词器处理，每 80 毫秒产出一个音频 token，也就是每秒 12.5 个。

部署是这套模型最重的部分。BF16 权重约 1.5TB，需要 4 个 8×H200 节点并以张量并行 TP=32 运行；NVFP4 版本用 4 位精度存储参数，面向 NVIDIA Blackwell GPU，可在单个 B200 节点上跑起来。博客提供了 Transformers、llama.cpp、vLLM、SGLang 与 MLX 的推理方案，以及通过 Hugging Face Inference Endpoints 部署和用 TRL 做微调的流程。

所有 256 个专家都需要常驻显存，部署时要按约 8160 亿参数模型的内存来准备，但运行速度接近 420 亿参数模型。对希望自建智能体编程栈的团队来说，这笔账是否划算，取决于社区在真实代码库任务上的评测结果，以及 NVFP4 与各家推理框架的成熟速度。