BEAM(Benchmark for Evaluating Long-Term Memory in LLMs)来自 ICLR 2026 论文”Beyond a Million Tokens”,专门评估 LLM 在超长对话中的长期记忆能力。基准包含 100 个对话、2000 个探测问题,上下文长度高达 1000 万 tokens——远超当前大多数模型的处理范围。
BEAM 测试 10 种长期记忆能力:事实/实体追踪、信息更新、矛盾解决、时序理解、指令与偏好区分、跨轮多跳推理等。评估采用 Nugget 评分法,将答案分解为原子信息单元独立评估。关键发现:即使拥有 1M token 上下文窗口,标准 LLM 在更新信息、解决矛盾和长距离推理方面仍严重不足;结构化记忆系统(LIGHT)在各长度上均显著优于 RAG 和长上下文基线,在 1M tokens 时提升约 75%。