Memory Tensor 开源 MemT 1.0：把记忆写进模型架构，而不是外挂检索

10月20日，Memory Tensor 正式发布并开源记忆原生大模型 MemT 1.0。与此前常见的“外挂记忆”方案不同，这套路线把记忆从外部检索模块搬进模型底层架构，让经验积累本身成为模型能力的一部分。

团队对“记忆”的定义很直接：把聊天记录存起来不算记忆。技术报告用一个例子说明现实中的难点——用户先给出展览原本的时间，随后确认改到周日，中间又随口提过一个未被采纳的周一方案；此后双方聊了500多轮、约6.6万个token，期间再没提过“展览”。

在这种跨度下，靠外部检索很容易把闲聊当成结论。MemT 1.0 在与原文完全隔离的“闭卷”状态下，仍能准确报出原定时间与改期后的时间，同时指出场地、票价和联系人没有变化，并清楚区分周日的最终安排与周一那个备选方案。

架构上，MemT 1.0 把算力分成两部分：Backbone Network 承载通用认知，相当于出厂设置；Dynamic Memory State 则是随具体交互轨迹实时演化的独立工作状态，不同用户、不同任务之间彼此隔离，并直接参与后续每一轮的生成与计算。

每轮对话结束时，模型通过token级更新机制直接刷新记忆状态，保留什么、修改什么由训练中学到的门控机制自行决定；需要时，并行记忆注意力机制会把沉淀下来的状态取出来参与当前计算。整个过程不需要重新训练整个大模型。

训练分两步完成，共消耗340亿token：先用200亿token做继续预训练，让模型学着用过去的片段预测未来；再用140亿token做后训练，由表现更好的教师模型为记忆提取打分，通过误差回传逼模型改进。存储侧采用固定容量，并引入 Mixture-of-Storage 架构，基础MoE负责计算，多个“记忆专家”分别管理读写分配。

官方技术报告给出的结果是：在覆盖长期保持、动态更新与个性化理解等维度、历史跨度从16K到百万token的11项系统记忆基准上，闭卷作答的 MemT-1.0-Flash 与 MemT-1.0-Nano 平均分分别为50.6和47.0，比同组最强参数化记忆基线高12.5分和8.9分。消融实验显示，去掉后训练后 Nano 平均分从47.0跌到36.3；把MoS记忆专家从2个扩到4个，平均分最多提升2.7分。

代码与权重已分别发布在GitHub和Hugging Face上。对正在做长期个人助手与Agent的团队来说，分数之外更值得关注的是另一个问题：当记忆被内化成参数化状态，模型对长程上下文的依赖方式会随之改变，而这条路线能否在真实长周期任务中稳定胜过检索，仍是接下来要验证的事。