字节跳动 Seed 开源 GenFirst：把 VAE 与扩散先验放在一起端到端训练

11月3日，字节跳动 Seed 团队在 Hugging Face 上线了名为 GenFirst 的模型仓库，管线标注为文本到图像，框架为 PyTorch。模型卡给出的全名是“Generation Before Reconstruction for Stable End-to-End Latent Generative Modeling”，即“生成先于重建”的稳定端到端潜空间生成建模。仓库上线时显示下载量为 0、点赞数为 1，说明这是一次刚刚开始的公开发布，而不是已经铺开的正式产品。

GenFirst 瞄准的是潜空间生成模型里由来已久的一个难题：如果让变分自编码器与扩散先验一起端到端训练，潜空间往往会发生坍缩——先验学得动，解码器却还原不出细节。按模型卡的描述，GenFirst 的解法是对先验权重与熵权重施加两阶段调度：第一阶段让先验去塑造潜空间的几何结构，第二阶段把这两个权重同时降低十倍，让解码器重新把细节找回来。这样得到的潜空间既能被扩散先验很好地拟合，又仍然是一个称职的自编码器。

仓库里发布的是两类必须配合使用的产物。一类是端到端阶段产出的 VAE 编码器与解码器，各自附带潜变量归一化统计量；另一类是生成先验，包括用于类条件生成的 SiT 模型和用于文本到图像的 MMDiT 模型，两者都训练在冻结的 VAE 之上。模型卡特别提醒，VAE 与其统计量必须成对使用，配错统计量得到的不是画质下降，而是纯噪声。

这次开放的只是论文中的 EiT（扩散先验）版本，自回归的 EAR 版本没有释出。使用门槛也不低：发布物是原始 .pt 检查点，没有 diffusers 集成，也没有 from_pretrained 入口，必须克隆训练仓库、装好依赖再按脚本采样。对习惯一行代码加载模型的开发者来说，这不是一次“下载即用”的开源发布。

从结构上看，先验是 SiT-XL 与 MMDiT-XL：28 个 block、宽度 1152、16 个注意力头，参数量约 6.75 亿。文生图一侧的文本编码器是冻结的 CLIP-L，权重以 fp32 发布，采样在 bf16 下测试。这个体量属于研究型的中等规模，重点不在参数竞赛，而在于验证一套训练配方。

模型卡给出的数字相当具体。类条件 ImageNet 256×256 上，先验训练 800 轮的最佳检查点报告 gFID 1.45，加引导后为 0.969；512×512 的 400 轮检查点加引导为 1.23。文生图方面，512×512 的 EiT 变体在 GenEval 上得 0.8987、DPG-Bench 得 82.60，且未做提示词改写。它还给出一个从 FLUX.2 VAE 初始化的 f8d32 VAE，重建 rFID 0.041、PSNR 36.46。

更值得注意的是“共享潜空间”那组实验：用 Qwen3-VL 的 ViT 自编码器做端到端整形，再叠加 SigLIP 或 VLM-NLL 的表示监督，同一个潜空间既用于生成（GenEval 0.90、DPG-Bench 83.76），又保留可线性探测的语义（Top-1 分别为 79.25% 与 81.69%）。另有一个联合文本-图像 VAE 的 JointMMDiT，GenEval 达到 86.57。这条线索指向的是生成与理解共用一套表征，而不只是画得更像。

授权是这次发布最容易被忽略的一条限制。权重采用 CC BY-NC 4.0，仅限非商业研究用途，比代码侧的 MIT 协议严格得多，模型卡也明确要求使用前先看清这一点。对想把它接进商业产品的团队而言，这意味着要么等待另行授权，要么只能把它当作方法参考。

模型卡自己也没有把榜单数字说成定论：FID 对参考统计量和缩放路径都很敏感，只有在同一套协议下的比较才有意义，文中数字是用固定环境版本跑出来的。发布时 0 下载、1 点赞的起点同样说明社区还没有开始检验它。接下来值得看的是有没有人做出 diffusers 端口、EAR 版本会不会跟进，以及这套端到端配方在更大模型上是否依然成立。