AI Engineer CODE Summit 2026

Pick Problems That Survive When AI Solves Coding

Ara Khan · Cline(创始工程师)

2026-11-11 · 27分钟 · 1.0 万次观看 · AI Engineer

让 GPT-5.6 Sol 用 17 小时(约 680 美元)读另一个模型在 Cline 中的失败轨迹、归类、改 harness、重跑:Terminal-Bench 从 69/89 提到 79/89。职业建议:选择那些模型越强、你越有用的问题(比如需要测量回路的硬件),而不是下一个模型一次就能生成的周末项目。

观看原视频 ↗

内容概要

以前周末项目放上 GitHub 就能证明能力,现在 agent 一个下午就能写完同样的仓库。从聊天机器人到编码同事,关键是能改变对话外事物的工具;但「自信的最终消息」说明不了 MCP 服务器是否真的可用,要有独立测试打开客户端调用工具,转录只用来解释通过或失败。Cline 在基准规模上这样做:Terminal-Bench 的 89 个终端任务各有隔离容器和评分器;工具调用、token、耗时和命令输出用来区分「文件读取器坏了」和「正常会话耗尽了时间」。外循环由 GPT-5.6 Sol 负责:K3 通过 Cline 做任务,Sol 读轨迹、归类失败、提出 harness 修改、重跑受影响用例;完整评测约一小时,主 agent 要记得试过哪些假设、何时值得完整重跑。发现:循环检测器会因为 agent 轮询后台任务(命令不变但输出在变)而误杀健康会话,改为同时检查输出;另一类失败是提供商限流,需要等待重试。结果:原版 harness 69/89(77.5%),确认运行 79/89(88.8%),最终运行花费 49.80 美元,整个 17 小时实验约 680 美元。更广的视角:训练数据选择、后训练、推理内核和评测都能让下一次更好;更快的推理在固定预算实验中双重重要;把纠正变成测试。个人硬件项目:带摄像头、扬声器、麦克风的小设备回答太慢,他让编码 agent 向设备发请求并测量延迟,形成可迭代的回路。建议:选那种新模型发布后你有更好候选方案的问题,而不是新模型一次就能复现的演示。

幻灯片截图

别信自信的最终消息:设置 MCP 服务器要找文档、改配置、装依赖、起进程,独立测试应打开客户端真的调用工具;转录用来解释通过或失败。
5:32 别信自信的最终消息:设置 MCP 服务器要找文档、改配置、装依赖、起进程,独立测试应打开客户端真的调用工具;转录用来解释通过或失败。
Terminal-Bench 的 89 个任务各有隔离容器和评分器;工具调用、token、耗时、命令输出用来区分「工具坏了」和「时间耗尽」。
9:24 Terminal-Bench 的 89 个任务各有隔离容器和评分器;工具调用、token、耗时、命令输出用来区分「工具坏了」和「时间耗尽」。
把纠正变成测试;训练数据、后训练、推理内核、评测都是改进杠杆;固定预算下更快的推理意味着更多次实验。
14:36 把纠正变成测试;训练数据、后训练、推理内核、评测都是改进杠杆;固定预算下更快的推理意味着更多次实验。

截图来自原视频,仅用于评论与学习。

要点(点击时间跳到原视频)

  1. 0:17

    什么还能证明你的工作能力?周末项目仓库,agent 一个下午就能做出来。

  2. 5:00

    别信自信的最终消息:设置 MCP 服务器要找文档、改配置、装依赖、起进程,独立测试应打开客户端真的调用工具;转录用来解释通过或失败。

  3. 9:00

    Terminal-Bench 的 89 个任务各有隔离容器和评分器;工具调用、token、耗时、命令输出用来区分「工具坏了」和「时间耗尽」。

  4. 11:05

    外循环:GPT-5.6 Sol 读 K3 在 Cline 中的失败轨迹、归类、提出 harness 修改、重跑受影响用例;完整评测约 1 小时,主 agent 要记住试过的假设。

  5. 12:40

    发现:循环检测器误杀轮询后台任务的会话(命令不变但输出在变)——改为同时检查输出;另一类失败来自提供商限流,需要等待重试。

  6. 14:00

    结果:原版 harness 69/89(77.5%)→ 确认运行 79/89(88.8%);最终运行 49.80 美元,整个 17 小时实验约 680 美元。

  7. 14:47

    把纠正变成测试;训练数据、后训练、推理内核、评测都是改进杠杆;固定预算下更快的推理意味着更多次实验。

  8. 18:50

    硬件回路需要测量:小设备回答太慢,他让编码 agent 向设备发请求、测延迟,有了测量才能迭代。

  9. 21:53

    选择会因更好的模型而受益的问题:新模型能一次做出旧演示,却会给手握硬件和测量回路的工程师更好的候选方案。

可以用在日常工作里的

  • agent

    用一个强模型做「harness 工程师」:读失败轨迹、归类、改 harness、重跑;几百美元就能换来十个百分点。

  • 职业

    把精力放在有真实测量回路、与物理世界或专有数据连接的问题上。

演讲提到的资源

同一章节的其他演讲

← 返回全景 · 目录