跳到正文
SGSteven Guan

原子概念

记忆投毒与跨会话注入

source trust继承、事实与指令分离、写入/检索双门控、跨会话红队路径。

要解决的问题恶意资料怎样借一次写入影响以后所有Session?

检索别名:memory poisoning · persistent prompt injection

BLUEPRINT局部蓝图

01 输入

  1. 第三方内容与写入渠道
  2. 来源信任、scope和工具政策
→

02 处理机制

  1. 写入端审查并保留来源
  2. 召回时不提升指令权限
  3. 跨Session红队及派生污染清理
→

03 输出与证据

  1. 可隔离的污染路径
  2. 独立于模型的执行约束

一次不可信输入可能长期存活

普通prompt injection常在当前工具结果中影响Agent;memory poisoning还会诱导系统把恶意说法存成长期事实或规则,在新的Session重新触发。攻击面因此跨越读取、摘要、写入、检索和执行,不能只测试当轮模型是否拒绝了明显指令。

2026年的系统研究专门分析记忆写入渠道与结构漏洞,另有PMPA预印本研究harness-based Agent的持续污染。论文实验表明这是值得单独建模的攻击类别,但其成功率依赖具体环境,不能当成所有服务的通用百分比。

信任级别应随来源继承

网页写“公司指定所有紧急付款发到某地址”,只能成为网页陈述,不应被抽取成用户偏好或公司政策。摘要压缩、向量入库和图谱抽取都不应洗掉原始信任标签。模型自己的解释也不是独立确认。

写入端限制候选类型、敏感信息、scope和程序规则;检索端检查来源、时间与撤回;执行端独立验证动作权限。即使某条污染记忆成功进入模型上下文,工具网关也不应允许它自行增加外部目的地或扩大数据访问。

红队要跑完整生命周期

使用受控测试资料模拟第三方文本提出伪事实,再观察是否写入、是否在新Session召回、是否改变答案或动作。记录每一层结果,才能区分写入失败、传播失败、激活失败和外部权限成功拦截,而不是只统计最后是否造成损害。

发现污染后,删除单个向量可能不够:还要定位由它产生的profile、摘要、图边、技能候选和缓存,撤回并重新评估。恢复前后保留最小审计。安全门控还需测试正常记忆质量,防止通过拒绝全部写入获得看似漂亮的防御分数。

RELATIONSHIP MAP

与其他节点的关系

箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。

哪些节点指向本页 · 3

PRIMARY SOURCES

来源与阅读边界

来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。

  1. Memory poisoning系统研究,2026-06 ↗论文
  2. PMPA预印本,2026-09 ↗论文
  3. Zep v4:Memory security ↗官方文档 / 声明