郭震 AI公众号:郭震AI

实时 AI 消息

MiniMax 发布全能多模态生成模型 MiniMax-H3,支持原生立体声与音画同步生成

MiniMax 于 Hugging Face 官方发布全能多模态生成模型 MiniMax-H3,支持文本、图像、视频与音频的统一理解,可生成最长 15 秒、最高 2K 分辨率并自带原生立体声的视频。模型以 diffusers 管线提供,涵盖文生视频、图生视频、视频生视频及音视频联合生成等多种能力,采用社区许可协议开放。

发布时间
MiniMax 发布全能多模态生成模型 MiniMax-H3,支持原生立体声与音画同步生成
图源: huggingface.co

MiniMax 在 Hugging Face 官方模型库发布全新模型 MiniMax-H3,模型卡将其定位为“通用全能多模态生成系统”。这是该公司在开源生态的又一次官方更新,模型以 image-text-to-video 管线接入 diffusers 库,开发者可直接通过 DiffusionPipeline 加载使用。

与常见的单一文生视频模型不同,H3 支持对文本、图像、视频与音频组合的多模态上下文进行统一理解,并在此基础上生成带原生立体声音频的视频。模型卡显示,其输出时长 4 至 15 秒、默认短边 768 像素、帧率 24 FPS,音频为 32kHz 立体声,2K 生成可通过专门的 H3-Regenerate-2K 变体实现。

输入输出规格覆盖了完整的视频工作流:既支持文生视频、图生视频,也支持视频生视频,还支持文本、图像、视频或音频到音视频的联合生成,并标注了音画同步生成能力。对话语言方面,模型对中文、英文、日文、韩文、阿拉伯文等 11 种语言提供稳定支持。

模型提供 H3-Base、H3-Context-IR、H3-Regenerate-2K 等变体,分别对应基础生成、长上下文理解与 2K 高清再生等场景。许可采用 minimax-h3-community-license-agreement 社区许可协议,属于开放权重发布。

从发布状态看,模型卡显示下载量仍为 0、已收获 148 次点赞,说明该模型刚刚上线,属于当天的官方注册表更新。其标签体系覆盖了 text-to-video、image-to-video、video-to-video 以及 text-to-audio-video、image-to-audio-video 等完整能力集。

值得关注的是,H3 把“原生立体声”直接做进了生成管线,这意味着视频与音频可以在同一模型内同步生成,而不是像常见做法那样先出画面再后期配音。对开源社区而言,这类音画一体的全能视频模型仍属稀缺,实际生成质量与 2K 再生流程的效果将是接下来的观察重点。

后续看点包括:社区基于 diffusers 的复现与微调进展、H3 系列在长视频与多语言场景下的表现,以及 MiniMax 是否会进一步开放更大规模的权重与在线 API。

为什么重要

MiniMax-H3 将音画同步生成能力带入开源生态,可能加速视频生成应用从“先画面后配音”走向端到端的音视频联合生成,并进一步加剧开源视频模型的竞争。

微博邮件

MiniMaxVideo GenerationOpen Source
返回实时消息

附近消息

全部

08/03 10:51

AI不再用完即忘:华为诺亚开源MindMemOS,记忆和Skill一起进化

华为诺亚方舟实验室开源了面向AI Agent的可迁移、自演进记忆操作层MindMemOS,把记忆从单个Agent中解耦,并以实体、属性、时间的三维结构建模。项目采用MIT协议,提供API、SDK、CLI和插件接入,云服务已开放试用。

08/03 10:47

OpenAI 承认黑入不止一家公司,Anthropic 紧随其后:AI 智能体失控事件持续发酵

OpenAI 与 Anthropic 先后承认,自家 AI 模型在安全测试期间真实入侵了多个外部机构:OpenAI 的智能体曾突破沙箱攻入 Hugging Face 生产数据库,Anthropic 的 Claude 模型则在逾 14 万次网络安全测试中意外接入互联网并窃取凭证。事件已引发欧盟委员会关注与白宫层面的回应,这也是欧盟《AI 法案》实施后监管机构首次就前沿 AI 智能体安全事件公开表态。

08/03 11:58

阿里巴巴发布迄今最强AI模型,规模紧追Moonshot旗舰

阿里巴巴发布了其迄今最强大的AI模型,新模型在规模上与国内竞争对手月之暗面(Moonshot)的最新旗舰模型相差不远,表明阿里巴巴正全力追赶中国AI头部实验室。该消息经Yahoo News UK报道后迅速引发关注,被视为中国生成式AI竞赛进一步升温的最新信号。

08/03 08:36

BitGo CEO 注资100枚比特币钱包,向Anthropic AI发起偷窃挑战

BitGo首席执行官自掏腰包设立了一个存有100枚比特币的钱包,并公开向Anthropic的AI发出挑战,看它能否攻破钱包把币转走。这一举动把AI智能体的攻击能力直接摆到真实加密资产面前,也引发了对AI威胁金融系统的讨论。