实践讲座：Eval如何支持产品决策

讲座资料与适用范围

Ankur Goyal在AI Engineer World's Fair 2025的《Five Hard-Earned Lessons About Evals》中讨论数据、scorer、context和产品迭代。原发布方提供19:46的完整逐字稿；本页基于全文文字解读，不声称连续观看或独立复现其内测。确切上传日未核，厂商产品图表和分数只代表讲者当时报告，不用于估计其他团队ROI。

数据与评分器是产品规范

2:10附近强调定制dataset与scorer，4:05讨论工具如何构成模型看到的context。对企业Agent，不能只修改system prompt，再套一个通用judge。任务合同应规定证据、允许变化和严重错误；工具输出大小、命名、分页及错误反馈也进入实验，避免高分只是测到了另一种简化系统。

反馈需要领域判断

14:36附近讨论把用户反馈纳入评测时的筛选，17:33区分不满意与答错。可操作做法是先保留原任务、证据与修订，再让专家决定是否成为正式case。负反馈可能针对结果本身，点赞可能受到篇幅和语气影响；自动全部收录会产生噪声和错误优化目标。

为尚未可行的能力保留测试

能力集可以包含目前模型完成不好的任务，以便新模型出现时及时判断机会；回归集则保护既有承诺。评测促进快速决策，但不能把某团队能迅速升级当成所有业务都应在一天内上线的SLA。应统一任务和预算、保留持出，观察模型与harness交互、成本和风险。

闭环的工程含义

将trace、专家反馈、用例、grader、候选diff与发布资格连起来，优化整个系统而非只优化一句提示。模型可提出数据缺口和评分器改进，但最终test、权限和晋升边界要保持独立。评价进步时同时看新能力、回归、审阅时间与严重错误；不以训练或内测分数上涨替代真实业务结果。