PrismML 发布 Bonsai 2 27B：27B 开源模型被压到 5.9GB，可跑在 PC 上

加州理工背景的 AI 实验室 PrismML 在周四发布 Bonsai 2 27B，把阿里的开源模型 Qwen3.8 27B 压缩到 5.9GB。

这是一次幅度不小的瘦身：相比原始模型，内存占用减少约 9 到 10 倍，小到可以装进 PC，甚至有可能跑在高端智能手机上。PrismML 押注的核心判断是，具备推理能力的大模型并不一定非要“大”。

性能是这家公司最想强调的一点。据其说法，Bonsai 2 在聚合基准分数上达到原模型 98% 的水平，而今年 3 月发布的初代 Bonsai 只有 95%。这家公司还表示，初代模型已经被下载超过 1100 万次，更小的模型又累计下载了 260 万次——从一代到二代，压缩后的性能损失在收窄，这是它希望外界注意到的趋势。

实现方式上，模型的能力以“权重”形式存储，通常每个权重需要 16 位表示；PrismML 采用的是“三元”权重，把每个权重简化成 +1、-1 或 0 三种取值。权重表示越简单，模型占用的内存就越小。

公司本身还很早期：由一群加州理工的研究人员创立，CEO Babak Hassibi 是加州理工教授、压缩技术方向的专家；顾问名单里有 Databricks 联合创始人、伯克利 Sky Computing Lab 主任 Ion Stoica；投资方包括 Khosla Ventures、Cerberus Capital 和加州理工。目前融资金额只有 2225 万美元种子轮。

这条赛道并不只有它在跑。总部背景为西班牙的 Multiverse Computing 同样在做大模型压缩，而且拿到的钱更多。Hassibi 认为 PrismML 的差异在于压缩后几乎不掉性能，但他本人也承认，压缩总会带来一些影响，能否做到基准分数 100% 持平仍有待观察。

真正的看点在于，如果端侧小模型能保留原模型接近 98% 的推理能力，AI 的落地形态就可能从调用云端 API 转向本地常驻。后续可以观察 Bonsai 系列下一代的基准差距是否继续收窄，以及在实际任务与真实硬件上，端侧版本是否真的接近原模型的体验——毕竟基准分数和真实使用之间，还隔着运行框架与硬件的差异。