原子概念
提示注入与信任边界
把外部材料作为证据,禁止它提升为操作指令。
要解决的问题网页、文档或记忆中的恶意指令怎样跨层传播?
检索别名:Prompt injection · 越狱 · 记忆投毒
01 输入
- 不可信材料
- 当前任务权限
02 处理机制
- 保留来源标记
- 限制可执行能力
- 验证动作和传播
03 输出与证据
- 隔离的证据
- 攻击与误拒指标
攻击进入哪里
间接注入藏在检索文档、网页、邮件、工具说明或代码注释里,诱导模型泄漏资料、修改目标或调用危险工具。持久化攻击还可混入摘要和记忆候选,在后续Session重新出现。输入长得像system prompt并不赋予它系统权限。
分层防护
上下文明确标来源、时间与信任等级,外部材料不能直接写入程序性规则。工具能力按当前任务最小化,敏感凭证由网关代持,出网目的地和副作用被独立策略限制。输出验证器检查数据和动作后置条件,不能只问同一个模型“你是否安全”。这些措施降低风险,但没有一个通用字符串过滤器可以证明所有注入都被消除。
容易遗漏的传播
网页摘要可能去掉来源标记;子Agent回报可能把攻击指令包装成“研究建议”;memory合并可能把临时引用固化成偏好。因此来源与信任信息要穿过摘要、委派、记忆和产物,而非仅在最初文档上标一次。对高影响任务,可以要求原文证据和受控重建上下文。
测试方法
组合真实任务、恶意文档、可用工具和跨Session召回,观察是否出现越权动作或外传。同时测合法任务成功与过度拒绝。单轮jailbreak没有成功不代表长期系统安全;红队结果需要绑定模型、harness、工具和策略版本。
RELATIONSHIP MAP
与其他节点的关系
箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。
PRIMARY SOURCES
来源与阅读边界
来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。
- MCP:Security best practices ↗官方文档 / 声明
- Anthropic:Effective context engineering ↗官方文档 / 声明