AI Engineer
What's next after RLHF?(Jev CEO: I made ChatGPT, now I'm building what's next)
Diogo Almeida · TypeSafe AI(前 OpenAI,GPT-4 / InstructGPT 合著者)
RLHF 优化的是「让回路里的人满意」,所以今天的 AI 极擅长「辅助」而不擅长「自动化」:模型错的时候也看起来是对的。Claude Code 仍属于辅助时代;下一步是为可校准的决策和真正的自动化重新设计训练目标。
内容概要
Almeida 用「两种极端看法」开场:一派认为 AI 好得惊人(基准不断被刷爆),另一派认为 AI 几乎没创造价值。他的解释是:左边那些「好得离谱」的应用(ChatGPT、Copilot、Claude Code、Deep Research)本质都是要让回路里的人满意的任务;右边那些看似简单却仍需真人的工作(客服决策、保险、数据录入)目标是把人移出回路。RLHF 收集人类偏好并为之优化,所以过度承诺是「特性」而不是 bug(把放屁音效当成音乐来夸),在有真实后果的决策上就是隐患。他认为预训练本身很好,问题在于后训练的目标;未来要的是「更聪明的软件」,而不只是「写得更便宜的软件」。
幻灯片截图
截图来自原视频,仅用于评论与学习。
要点(点击时间跳到原视频)
- 0:41
「ChatGPT 之后」不是「Claude Code 时代」,两者属于同一个辅助时代。
- 3:29
理智的看法:好得不像真的那一侧(指令跟随、Copilot、编码 agent、NotebookLM、Deep Research、语音 agent、不做决策的客服)都是人在回路的任务;差到没法用的那一侧(带决策的客服、得来速点单、会计税务、QA、保险、数据录入)目标都是去掉人。
- 5:17
教训一:今天的 AI 擅长辅助、不擅长自动化,别让它做有业务后果的决策。很多公司的模式是「把成本都推给用户」:让用户在客服里翻无数文档可以,让 AI 做昂贵决策不行。
- 6:20
RLHF 一句话:收集人类偏好,优化人类偏好。所以「为什么所有 LLM 都需要人在回路」的答案很简单:是我们亲手把人放进回路的。
- 7:00
过度承诺是设计出来的:METR 的研究里,开发者预估 AI 让他们更快,实测却更慢;ChatGPT 会把一段放屁音效评价为「很有氛围的 lo-fi 作品」。辅助场景下这是在优化参与度,自动化场景下需要的是校准好的正确。
- 8:11
教训二:辅助型 AI 的后果是「无论模型错得多离谱,看起来都是对的」,因为 RLHF 奖励模型的不对称会惩罚不自信、鼓励模型丢掉不确定的模式。
- 9:57
SaaS 自 2019 年以来几乎没变,只是多挂了个聊天机器人;我们在自动化「写软件」,软件本身的表达能力却没变。他想要的是「聪明的软件」,而不只是 Garry Tan 说的「即时软件」。
- 14:19
预训练不是问题,它把互联网压缩成了强大的智能内核;幻觉来自对人类偏好的优化。
- 16:04
「最苦涩的教训」:数据比算力重要,做对任务比数据更重要。RLHF 的北极星是人类偏好,RLVR 是纯正确率,TypeSafe 在做第三种——为校准的决策优化,连 API 形态都会不同。
可以用在日常工作里的
- 产品
区分你的场景是「辅助」(人审核输出)还是「自动化」(无人值守、有真实后果);后者不能直接信任对话模型的自信表述。
- 评测
对自动化任务评估校准度:模型的置信度是否与正确率匹配,而不仅是平均准确率。
- 模型训练
如果你的任务可验证,用可验证奖励(RLVR)或自定义目标后训练,而不是依赖偏好优化。