跳到正文
SGSteven Guan

原子概念

提示注入与信任边界

把外部材料作为证据,禁止它提升为操作指令。

要解决的问题网页、文档或记忆中的恶意指令怎样跨层传播?

检索别名:Prompt injection · 越狱 · 记忆投毒

BLUEPRINT局部蓝图

01 输入

  1. 不可信材料
  2. 当前任务权限
→

02 处理机制

  1. 保留来源标记
  2. 限制可执行能力
  3. 验证动作和传播
→

03 输出与证据

  1. 隔离的证据
  2. 攻击与误拒指标

攻击进入哪里

间接注入藏在检索文档、网页、邮件、工具说明或代码注释里,诱导模型泄漏资料、修改目标或调用危险工具。持久化攻击还可混入摘要和记忆候选,在后续Session重新出现。输入长得像system prompt并不赋予它系统权限。

分层防护

上下文明确标来源、时间与信任等级,外部材料不能直接写入程序性规则。工具能力按当前任务最小化,敏感凭证由网关代持,出网目的地和副作用被独立策略限制。输出验证器检查数据和动作后置条件,不能只问同一个模型“你是否安全”。这些措施降低风险,但没有一个通用字符串过滤器可以证明所有注入都被消除。

容易遗漏的传播

网页摘要可能去掉来源标记;子Agent回报可能把攻击指令包装成“研究建议”;memory合并可能把临时引用固化成偏好。因此来源与信任信息要穿过摘要、委派、记忆和产物,而非仅在最初文档上标一次。对高影响任务,可以要求原文证据和受控重建上下文。

测试方法

组合真实任务、恶意文档、可用工具和跨Session召回,观察是否出现越权动作或外传。同时测合法任务成功与过度拒绝。单轮jailbreak没有成功不代表长期系统安全;红队结果需要绑定模型、harness、工具和策略版本。

RELATIONSHIP MAP

与其他节点的关系

箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。

PRIMARY SOURCES

来源与阅读边界

来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。

  1. MCP:Security best practices ↗官方文档 / 声明
  2. Anthropic:Effective context engineering ↗官方文档 / 声明