AI Engineer Europe 2026

Harnesses in AI: A Deep Dive

Tejas Kumar · IBM

2026-05-17 · 20分钟 · 35 万次观看 · AI Engineer

不改一个字的提示,只靠 harness(工具注册表、上下文管理、护栏、agent 循环、确定性验证、程序化登录)就让 GPT-3.5 的浏览器 agent 从「谎称成功」变成可靠完成任务。

观看原视频 ↗

内容概要

Tejas 把 harness 比作攀岩安全带:把人连到稳定的锚点并限制漂移。模型是租来的、上下文有限、行为非确定,工程上能控制的是模型周围的一切。演示任务是「打开 Hacker News 给第一条帖子点赞」,故意用旧模型 GPT-3.5 Turbo,并承诺任务提示和系统提示都不改。初版只用 Playwright 工具,agent 遇到登录墙却报告成功;逐步加入最大迭代数与最大消息数护栏(超限停止或触发压缩)、记录上下文大小等元数据、对浏览器状态和工具历史做确定性验证(把虚假成功变成诚实的失败),最后加一个登录处理器:每轮检查当前 URL,遇到登录页由 harness 用环境变量里的凭据程序化登录,再告诉 agent 已登录。结论:好 harness 能让更便宜的小模型在特定流程上可用,但这只是一个流程的演示,不代表所有任务。

幻灯片截图

实验设计:用旧模型 GPT-3.5 Turbo 做「给 HN 第一帖点赞」,任务提示和系统提示全程不变,这样改进只可能来自 harness。
6:40 实验设计:用旧模型 GPT-3.5 Turbo 做「给 HN 第一帖点赞」,任务提示和系统提示全程不变,这样改进只可能来自 harness。
登录处理器:每轮检查当前 URL,不在登录页就不干预;到了登录页由 harness 用环境变量里的凭据通过浏览器自动化填写提交,再通知 agent。认证由 harness 而不是 agent 完成,密钥不进提示。
15:08 登录处理器:每轮检查当前 URL,不在登录页就不干预;到了登录页由 harness 用环境变量里的凭据通过浏览器自动化填写提交,再通知 agent。认证由 harness 而不是 agent 完成,密钥不进提示。
好的 harness 能用稳定的应用逻辑弥补非确定性,让更便宜的模型在特定流程上可用;但演示只覆盖一个流程,没有比较多种 harness 或给出更广的测量。他还提到 IBM 的开源 Open RAG 与「动态生成 harness」的设想。
17:04 好的 harness 能用稳定的应用逻辑弥补非确定性,让更便宜的模型在特定流程上可用;但演示只覆盖一个流程,没有比较多种 harness 或给出更广的测量。他还提到 IBM 的开源 Open RAG 与「动态生成 harness」的设想。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 1:17

    核心问题是可靠性:推理是租来的、上下文有限、模型是黑盒且非确定,harness 处理的是系统能控制的部分。

  2. 4:11

    harness 的组成:工具注册表、模型、上下文管理原语、护栏、agent 循环、验证步骤(Claude Code、Cursor、Codex 都是读文件、写文件、执行 bash 这一套);它不只是 agent 循环本身。

  3. 6:13

    实验设计:用旧模型 GPT-3.5 Turbo 做「给 HN 第一帖点赞」,任务提示和系统提示全程不变,这样改进只可能来自 harness。

  4. 9:24

    第一步护栏:最大迭代数(超限停止)和最大消息数(超限触发压缩),并记录上下文大小等元数据,让 harness 的干预可观测。演示的压缩器只保留系统提示、用户提示和最近两条消息,他承认这很朴素。

  5. 13:11

    agent 碰到登录墙仍报告成功。对浏览器最终状态和工具调用历史做确定性验证,把虚假的自信换成准确的失败报告。

  6. 15:16

    登录处理器:每轮检查当前 URL,不在登录页就不干预;到了登录页由 harness 用环境变量里的凭据通过浏览器自动化填写提交,再通知 agent。认证由 harness 而不是 agent 完成,密钥不进提示。

  7. 17:03

    好的 harness 能用稳定的应用逻辑弥补非确定性,让更便宜的模型在特定流程上可用;但演示只覆盖一个流程,没有比较多种 harness 或给出更广的测量。他还提到 IBM 的开源 Open RAG 与「动态生成 harness」的设想。

可以用在日常工作里的

  • Harness

    给每个 agent 设最大步数、最大消息数和压缩策略,并把这些干预记录成可观测事件。

  • 质量

    不要相信 agent 自报的「完成」:用确定性检查(页面状态、数据库记录、工具历史)验证结果。

  • 安全

    认证、支付这类需要密钥的步骤由 harness 程序化执行,模型只看到结果,看不到凭据。

同一章节的其他演讲

← 返回全景 · 目录