AI Engineer 2026

The Lethal Trifecta Is Already on Your Laptops

Michael Patterson · Coder

2026-10-10 · 21分钟 · 16 万次观看 · AI Engineer

Simon Willison 的「致命三角」(私有数据 + 不可信内容 + 对外通信)在每台跑编码 agent 的笔记本上都已成立;三道护栏:预先配置的远程工作区、模型代理(检查/脱敏/记录 LLM 流量)、agent 防火墙(执行前拒绝命令)。

观看原视频 ↗

内容概要

开场是一则警示:有开发者刚庆祝完 agent 带来的效率,就报告 agent 删了他的生产数据库。致命三角:访问私有数据、接触不可信内容、能对外通信,三者在一次普通开发会话里就会同时出现(读本地文件和凭证、读外部材料、发网络请求);提示注入只有在能指挥带真实权限的工具时才致命。企业推广的第二个问题:禁止 agent 并不能消除需求,开发者会在笔记本上用个人订阅,反而脱离组织视野;需要安全、DevOps 参与和具体的有用工作流。护栏 1:在安全与平台团队批准的远程云开发环境(Coder,Terraform 配置,可跑在任意云或本地)里启动 agent,写权限受限、只能连允许的地址,工作区里有什么就决定了 agent 能碰什么。护栏 2:模型代理在 agent 和 LLM 提供商之间检查、脱敏、记录流量。护栏 3:agent 防火墙在命令执行前拒绝不想要的操作。记录支持监督,但预防需要在数据离开或命令执行之前生效的控制。

幻灯片截图

同样的访问让 agent 有用,也让错误代价高:有开发者刚庆祝完 agent 编码的效率,就报告 agent 删除了他的生产数据库。
1:00 同样的访问让 agent 有用,也让错误代价高:有开发者刚庆祝完 agent 编码的效率,就报告 agent 删除了他的生产数据库。
护栏 1:在预先配置好的远程工作区启动 agent(通过 URL、RDP、SSH 连接),写权限受限、只能访问允许的外部地址,环境内容决定 agent 能碰的代码、凭证和工具,也省去临场安装依赖的决定。
16:16 护栏 1:在预先配置好的远程工作区启动 agent(通过 URL、RDP、SSH 连接),写权限受限、只能访问允许的外部地址,环境内容决定 agent 能碰的代码、凭证和工具,也省去临场安装依赖的决定。
护栏 2:模型代理——agent 的模型请求先经过组织控制的网关,检查、脱敏、记录后再发给提供商。护栏 3:agent 防火墙——在命令执行前拒绝不想要的执行。
18:24 护栏 2:模型代理——agent 的模型请求先经过组织控制的网关,检查、脱敏、记录后再发给提供商。护栏 3:agent 防火墙——在命令执行前拒绝不想要的执行。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 0:12

    同样的访问让 agent 有用,也让错误代价高:有开发者刚庆祝完 agent 编码的效率,就报告 agent 删除了他的生产数据库。

  2. 5:06

    致命三角(Simon Willison):访问私有数据、接触不可信内容、能对外通信。笔记本上的 agent 一次普通会话就同时具备三者,风险来自它们被连在一起。

  3. 8:06

    第一反应是缩小被劫持的 agent 能触及的范围:独立的虚拟环境让笔记本上的私人文件不在 agent 工作区里,破坏性执行发生在另一台机器上——前提是私有文件和强力凭证不被带进远程环境。

  4. 10:05

    企业推广:禁止 agent 不会消除需求,开发者会在笔记本上用个人 Claude 或 ChatGPT 订阅;批准的推广需要安全审批、DevOps 参与和具体的有用工作流示例。

  5. 15:35

    护栏 1:在预先配置好的远程工作区启动 agent(通过 URL、RDP、SSH 连接),写权限受限、只能访问允许的外部地址,环境内容决定 agent 能碰的代码、凭证和工具,也省去临场安装依赖的决定。

  6. 18:05

    护栏 2:模型代理——agent 的模型请求先经过组织控制的网关,检查、脱敏、记录后再发给提供商。护栏 3:agent 防火墙——在命令执行前拒绝不想要的执行。

可以用在日常工作里的

  • 安全

    给每个 agent 检查三角:它能读到哪些私有数据?会读到哪些不可信内容?能往外发什么?至少切断一条边。

  • 团队

    与其禁止,不如提供一条被批准、可观测的 agent 使用路径(标准化远程环境 + 模型网关),把影子使用拉回视野。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录