记忆写入、使用与遗忘评测

记得更多不一定做得更好

memory评测应分别测写入、检索、应用和删除。写入正确但召回不到没有价值；召回正确但用错场景会损害结果；反复召回旧错误可能让系统越来越固执。先定义信息的主体、scope、来源、有效期和可撤回方式，再决定哪些跨session行为应该保持。

用有顺序的多Session脚本

一组case可以先表达偏好，下一session检查应用，再纠正偏好、切换任务、恢复历史、删除条目并再次询问。加入临时要求、推断信息、来源冲突、敏感内容、其他用户的相似记录和撤权。确认更正能覆盖旧事实，临时任务规则不被永久化，模型不会以“记忆”作为越权披露理由。

比较净收益与副作用

在统一模型、任务和预算下比较no-memory、完整历史、摘要memory和审查后memory。指标包含任务提升、召回精确率、错误延续、token和检索费用、用户修正成本及隐私失败。不能仅凭更多命中或更长记录宣称学习成功。数据切分以用户或组织为单位，避免相邻session落在训练与测试两边。

保留被测状态，隔离其他污染

每次trial恢复case声明的初始memory；长期积累case需要保留明确预置的前史，不能一律清空。版本更新后检查旧memory格式与来源权限是否兼容，回滚代码也要处理新版本已经写入的条目。删除验收包含索引、缓存、摘要和后续召回，不只界面隐藏。产品应展示可检查的记忆依据，而不是要求用户相信一句“我已经忘记”。

用时间线而非单轮题测记忆

构造学生最初答错、后来纠正、教师覆盖判断、最后请求删除的多次会话。每步预先指定应记、可暂存、禁止跨用户使用以及应遗忘的内容，检查后续行为是否随版本变化。既看重要事实漏记，也看无关旧记忆误导当前任务的频率。删除后不能只查主表，还应测检索索引、摘要、缓存及派生状态的实际可见性。若无法精确清除某类产物，应把该限制写进产品合同。

从端到端分数拆解故障

EvalMem把诊断分为事实是否被写入、原生检索是否返回可用证据、模型在oracle证据下能否回答。工程上可对应建立三组对照，避免把编码遗漏误诊为需要更大模型。其结果来自所测系统与数据集，不是所有企业记忆的普遍故障比例。

LongMemEval-V2把环境状态、动态变化、工作流和常见陷阱等经验纳入评测；截至研究日为Work in Progress。企业可借鉴环境经验的测试维度，再用自有任务验证准确率与延迟，不直接采用论文分数作上线保证。