记忆评测与回归：遗忘、污染、幻觉放大与提示漂移的检查清单

长期记忆的评测目标很现实：让它“稳定带来收益”，并把风险控制在可接受范围。评测不是为了写漂亮报告，而是为了上线门禁与回归机制。

TL;DR

• 把记忆评测拆成四类：收益、稳定性、可控性、安全性。
• 回归门禁必须覆盖：写入规则、读取范围、删除/回滚、投毒样本。
• 只做离线评测不够：要有线上可观测与事件回放（工具/记忆读写可追踪）[3]。

1. 四类评测目标（建议默认）

1.1 收益（Value）

衡量“记忆带来什么好处”：

• 重复提问减少（用户重复输入背景的次数/字数下降）
• 任务完成率提升（例如多轮任务的成功率）
• 平均交互轮次下降（更快达到结果）

1.2 稳定性（Stability）

衡量“记忆是否让体验变得不稳定”：

• 同一用户同一意图的回答一致性
• 记忆命中率与误命中率（召回到不相关内容）
• 长对话场景下性能变化（延迟、token、失败率）

1.3 可控性（Control）

衡量“你能不能控制它”：

• 删除是否生效（删除后是否仍被检索到）
• scope 隔离是否正确（不跨用户/组织/项目）
• 版本回滚是否可用（回滚后行为是否恢复）

1.4 安全性（Security）

衡量“它会不会被投毒”：

• 投毒样本是否能写入
• 投毒写入后是否会被高权重检索到
• 是否能触发异常检测与回滚[1]

2. 样本怎么做：别只用“正常对话”

长期记忆的回归样本建议至少包含：

• 正常样本：显式偏好、事实更新、任务推进
• 冲突样本：前后偏好相反、事实变更
• 噪声样本：无关闲聊、复制粘贴长文本
• 攻击样本：工具输出夹带指令、间接提示注入、记忆投毒

安全样本可参考社区的防护与测试项目：Agent Memory Guard 强调对记忆读写做策略与异常检测，并保留快照用于回滚[1]；一些 agent 安全测试指南也强调“工具 + 记忆 + 行动”的联动测试[2]。

3. 回归门禁（推荐默认清单）

下面是一份可以直接当 CI 门禁的清单：

3.1 写入门禁

• 只有白名单字段可写入
• tool_output 写入必须结构化解析
• 敏感字段不可明文落库

3.2 读取门禁

• scope 收敛正确（user/org/project/session）
• 注入预算生效（条目数 + token）
• 过期策略生效（TTL/版本）

3.3 用户控制门禁

• 用户可查看、可删除、可导出
• 删除后检索不可命中（或明确标记为已删除）

3.4 安全门禁

• 投毒样本写入被拒或被降权
• 异常变化能触发报警与回滚（至少能保留快照）[1]

4. 线上评测与可观测：让问题可定位

上线后常见问题是“用户说不对，但我们不知道哪里不对”。解决方法是把记忆系统做成可观测的事件流：

• 记忆写入事件：触发原因、写入字段、来源证据
• 记忆读取事件：检索范围、候选集、重排得分、最终注入内容
• 工具调用链路：调用参数、耗时、失败原因

云厂商也在把 MCP 的工具失败与延迟纳入 Trace 体系，例如 Google Cloud 的 MCP release notes 提到 Cloud Trace 可用于分析工具失败与延迟原因[3]。

近30天动态（节选）

• 评测开始向“Agent 全链路”扩展：安全测试指南把工具、记忆与行动联动纳入测试与报告流程（2026-02-04）。更多见：近30天动态总览

参考与延伸阅读

• [1] OWASP：Agent Memory Guard https://owasp.org/www-project-agent-memory-guard/
• [2] The Red Council：Agent Security Testing Guide https://github.com/sherifkozman/the-red-council/blob/main/docs/agent-testing-guide.md
• [3] Google Cloud MCP servers release notes（含 Cloud Trace）https://docs.cloud.google.com/mcp/release-notes
• [4] MCP Specification 2025-11-25 changelog（tasks 等能力讨论背景）https://modelcontextprotocol.io/specification/2025-11-25/changelog.md
• [5] mguard（Memory defense for AI agents）https://www.github.com/mguard-ai/mguard