16个token记住整本书

斯坦福团队的 Memorilla 给冻结的大模型外挂了一套“潜在语义记忆”：整批文档只编码一次，按问题取回相关内容压成 16 个记忆 token 塞进上下文，不用把全文都喂给模型。8 项基准里 5 项打败 Mem0、MemoRAG 等基线，FactKG 上准确率 84.33% 反超全上下文推理的 80.43%，用的 token 却少了 108 倍。


来源：https://arxiv.org/abs/2610.21375