安全红队与权限评测

攻击成功和合法任务都要测

安全评测既要检查攻击能否越界，也要检查正常用户是否仍能完成工作。把所有请求拒绝会降低攻击成功率，却不构成可用企业Agent。按资产、主体、入口、可能副作用和损失定义威胁模型，再构造可重放任务；危险动作在无真实资金、数据外传或生产写入的环境中测试。

覆盖不可信数据入口

除了用户直接越狱，还要测试检索文档、网页、工具结果、附件和memory中的间接指令。攻击可能诱导改写任务、泄漏凭据、调用无关工具、把假事实写进长期记忆，或将私有信息带到另一渠道。应检查系统最终动作与信息流，不能只判断回答是否包含某个危险词。

权限状态也会变化

测试审批参数被替换、批准过期、重复回调、并发撤权、跨租户缓存命中、共享环境中其他角色的文件与登录。模型请求能力不等于执行授权；身份、policy、工具网关和数据层执行硬限制。红队验证这些边界实际生效，而不是检查system prompt是否写了“请遵守权限”。

用可解释指标管理改进

分别报告攻击成功率、合法任务成功率、过度拒绝、严重外传和未授权动作。按攻击家族与任务风险切片，保留judge误判和人工裁决；多个模型一致不代表真值。一次修复后跑既有攻击回归和未见变体，避免仅记住测试文本。高风险检查不能由文风评分抵消；无结论或评测器故障应显式记录，不能默认为安全通过。

攻击语料、判分器和合法任务集应分别版本化。上线后的新攻击进入候选池，经确认再扩回归集；留出未参与防御调优的变体，观察防线是否只记住了攻击表述。

攻击用例必须绑定资产

对每个攻击写清攻击者控制的是网页、附件、工具字段还是历史记忆，目标是读出秘密、绕过批准还是污染未来任务。成功判定检查实际状态或可见数据，模型说愿意越权不必然代表系统已被攻破；模型拒绝也不证明后续工具未执行。对防护后的正常任务建立对照，记录误拒和新增延迟。新增连接器与权限变更后补对应威胁用例。