Hugging Face 开源 Token 池化感知训练：文档向量压缩4倍仍保留97.8%检索质量

11月11日，Hugging Face 团队的 Tom Aarsen 在官方博客发布了一套面向多向量嵌入模型的 token 池化感知训练（pooling-aware training）方案，并同步开放了 Sentence Transformers 中的损失封装、完整训练脚本、评测脚本以及两个示例模型检查点。这套方案要解决的问题很具体：ColBERT 这类多向量检索模型为文档的每个 token 保留一个向量，索引体积会随语料规模迅速膨胀。

博客给出的量级是：按每个向量128维、残差量化到4比特计算，一份含200个向量的文档需要12.8KB，一百万份文档就是12.8GB；如果把每篇文档池化到50个向量，同样精度下可降到3.2GB。多向量模型的表达力来自每个查询 token 都能找到自己的匹配，但代价是存储，这正是压缩技术要处理的矛盾。

池化的做法并不复杂。HierarchicalTokenPooling 用 Ward 层次聚类把相似的 token 向量逐步合并，每个簇用均值向量表示并重新归一化，再交给 MaxSim 打分。它可以按比例压缩，例如 pool_factor=4 表示保留约四分之一的向量；也可以设定每篇文档的最大向量数，或用统一的合并距离阈值让向量数量随嵌入几何自适应。默认会保护首 token，且只压缩文档向量，不改动查询向量。

真正的新意在于训练目标。作者指出，压缩越激进，越容易丢掉有用信息，因此让编码器在训练阶段就知道向量之后会被合并。Sentence Transformers 中提供的 MultiVectorTokenPoolingLoss 把未池化目标与 factor-4 目标包在一起，模型在学习检索的同时学习在合并后仍保留关键信息，另外还提供了可选的内核加速。

实验设置交代得很清楚：两个模型都从 answerdotai/ModernBERT-base 出发，使用新的128维 token 投影，在相同的12万条 MS MARCO 三元组上训练一个 epoch，种子为42，训练 token 上限300，短查询扩展到至少32个 token 位置。两个实验只有损失函数不同，也没有做超参数搜索。

在 NanoBEIR@13 上，pool_factor=4 时普通模型平均 nDCG@10 为49.03，池化感知模型为51.23；相对于各自未池化时的51.84和52.39，得分保留率从94.6%升到97.8%，而存储的文档向量减少74.8%。固定向量上限和自适应阈值下的收益同样存在：平均每篇29.58个向量时，池化感知模型保留97.3%的分数、少存84.7%的向量，普通模型则为93.3%。

作者也把这项技术放进了现有的压缩工具箱：先考虑用 Fast-PLAID 做4/2/1比特量化，再用 token 池化减少向量数量，最后可用 Matryoshka token 嵌入降低单向量维度，几种方法可以叠加。训练侧还可以把 MultiVectorTokenPoolingLoss 与 MultiVectorMatryoshkaLoss 组合，复用同一份编码器嵌入。

对做检索系统的团队来说，这意味着在不换模型架构、不显著牺牲检索质量的前提下，压低索引成本又多了一个可训练、可复现的选项。两个检查点已在 Hugging Face Hub 公开，训练与评测脚本也已给出，复现门槛不高。接下来值得观察的是，这套损失能否在更大规模语料和真实生产索引上保持同样的得分保留率。