把记忆交给CPU，大模型会变快：英特尔给出数据中心KV Cache优化方案

大模型推理要记住的东西正变得越来越多。每生成一个Token，模型都要参考前面的内容，为了不重复计算，推理系统会把已经算好的中间结果缓存下来，这就是KV Cache。会话越长、Agent读取的资料越多，这份“笔记”就越厚，显存压力也随之上升。

量子位9月16日刊出的文章把这个问题讲得很直白：当成千上万个Coding Agent同时干活时，KV Cache会把GPU显存挤满，部分缓存被清掉后，下一轮可能又要重新做Prefill，用户等待第一个Token的时间（TTFT）随之上扬。文章拿Qwen3-8B做了一次粗略测算：在BF16或FP16条件下，每个Token对应的KV数据约为147KB，按100万Token上下文推演约合147GB。这组数字是假设性的推演，不代表任何服务的真实用量，但足以说明为什么这笔账会越算越大。

英特尔的判断是，显存放不下不等于必须重算，出路在于把记忆搬到显存之外，并按活跃程度分层：正在使用的留在高带宽显存HBM里，短时间内可能复用的放进CPU侧DDR内存，更久没有访问但仍有价值的历史缓存继续下沉到SSD或远端存储。

围绕这套思路，英特尔布局了KV Shrink、KV Fuse、KV Cascade和KV Infinity四个技术方向：KV Shrink把分层管理与压缩结合起来，并开放冷热调度API；KV Fuse处理多份独立生成的缓存难以直接拼接的问题；KV Cascade先请辅助模型做筛选，缩小主模型需要处理的范围；KV Infinity面向持续增长的长任务，通过按需加载和预取缓解缓存必须全部常驻显存的压力。其中KV Shrink已有较具体的实现与测试披露。

压缩是KV Shrink的另一半。承担压缩和解压的是英特尔从第四代至强可扩展处理器开始集成的QAT（QuickAssist Technology）专用加速硬件，目的是在提升吞吐的同时少占用通用CPU核心。英特尔还重新排列了KV Cache的存储格式，让压缩算法更容易发挥作用：压缩节省的空间从原先的10%以上提高到20%以上，整体空间降幅约为20%至30%，而且是无损压缩，解压后可以恢复原始KV数据。

速度方面的对照测试更能说明问题。在一组配置为双路至强金牌6554S、两张英伟达L20 GPU和Qwen3-32B模型的测试里，缓存命中率为80%时，相比未开启分层卸载的原生vLLM基线，KV Shrink在测试覆盖的输入长度和并发组合中把TTFT最高加速约5倍；QAT硬件压缩方案的整体性能约为CPU软件压缩方案的两倍，开启压缩带来的额外TTFT开销低于10%。

另一组与道客联合实验室的测试更贴近Coding Agent服务：双路至强金牌6554S、八张H800、Qwen3-32B FP8模型，缓存命中率同样为80%，对比测试中的LMCache方案，KV Shrink在单路负载下的平均TTFT由129.81毫秒降到114.13毫秒，降幅约12.1%，八路并发时降幅约为4.6%。文章特意提醒，换一套设备、换一个比较对象，加速幅度就会变化，运营方需要代入自己的上下文长度、并发量和缓存命中率来实测。

需要看清的是，分层卸载并非英特尔独有，vLLM的KV Offloading已经支持把缓存块卸载到CPU内存并配置次级存储层，英特尔的差异化落在QAT硬件压缩和存储格式重排上。文章还把9月22日至23日的英特尔技术创新与产业生态大会当作了解其CPU侧进展的节点。对数据中心而言，真正的账是：同一批GPU，能不能在可接受的时延和成本下服务更多请求。