AI Engineer Europe 2026
Harnesses in AI: A Deep Dive
Tejas Kumar · IBM
不改一个字的提示,只靠 harness(工具注册表、上下文管理、护栏、agent 循环、确定性验证、程序化登录)就让 GPT-3.5 的浏览器 agent 从「谎称成功」变成可靠完成任务。
内容概要
Tejas 把 harness 比作攀岩安全带:把人连到稳定的锚点并限制漂移。模型是租来的、上下文有限、行为非确定,工程上能控制的是模型周围的一切。演示任务是「打开 Hacker News 给第一条帖子点赞」,故意用旧模型 GPT-3.5 Turbo,并承诺任务提示和系统提示都不改。初版只用 Playwright 工具,agent 遇到登录墙却报告成功;逐步加入最大迭代数与最大消息数护栏(超限停止或触发压缩)、记录上下文大小等元数据、对浏览器状态和工具历史做确定性验证(把虚假成功变成诚实的失败),最后加一个登录处理器:每轮检查当前 URL,遇到登录页由 harness 用环境变量里的凭据程序化登录,再告诉 agent 已登录。结论:好 harness 能让更便宜的小模型在特定流程上可用,但这只是一个流程的演示,不代表所有任务。
幻灯片截图
截图来自原视频,仅用于评论与学习。
要点(点击时间跳到原视频)
- 1:17
核心问题是可靠性:推理是租来的、上下文有限、模型是黑盒且非确定,harness 处理的是系统能控制的部分。
- 4:11
harness 的组成:工具注册表、模型、上下文管理原语、护栏、agent 循环、验证步骤(Claude Code、Cursor、Codex 都是读文件、写文件、执行 bash 这一套);它不只是 agent 循环本身。
- 6:13
实验设计:用旧模型 GPT-3.5 Turbo 做「给 HN 第一帖点赞」,任务提示和系统提示全程不变,这样改进只可能来自 harness。
- 9:24
第一步护栏:最大迭代数(超限停止)和最大消息数(超限触发压缩),并记录上下文大小等元数据,让 harness 的干预可观测。演示的压缩器只保留系统提示、用户提示和最近两条消息,他承认这很朴素。
- 13:11
agent 碰到登录墙仍报告成功。对浏览器最终状态和工具调用历史做确定性验证,把虚假的自信换成准确的失败报告。
- 15:16
登录处理器:每轮检查当前 URL,不在登录页就不干预;到了登录页由 harness 用环境变量里的凭据通过浏览器自动化填写提交,再通知 agent。认证由 harness 而不是 agent 完成,密钥不进提示。
- 17:03
好的 harness 能用稳定的应用逻辑弥补非确定性,让更便宜的模型在特定流程上可用;但演示只覆盖一个流程,没有比较多种 harness 或给出更广的测量。他还提到 IBM 的开源 Open RAG 与「动态生成 harness」的设想。
可以用在日常工作里的
- Harness
给每个 agent 设最大步数、最大消息数和压缩策略,并把这些干预记录成可观测事件。
- 质量
不要相信 agent 自报的「完成」:用确定性检查(页面状态、数据库记录、工具历史)验证结果。
- 安全
认证、支付这类需要密钥的步骤由 harness 程序化执行,模型只看到结果,看不到凭据。