工具、Loop、Harness与产品四层评测

小循环分数为什么不能直接上线

一个工具在直接调用时正确，并不说明模型会选它；模型在简化循环里会选它，也不说明真实产品中的工具发现、压缩、权限和界面会工作。OpenAI的插件评测示例将直接工具测试、独立function-calling循环和产品harness分开，强调测到的是模型与周边配置的组合。企业验收还需要补用户侧产品边界。

四层测试各有职责

L0将结构化参数直接发给工具，测解析、过滤、分页、超时和幂等。L1给自然语言任务，让模型选择工具及参数，定位schema和指令问题。L2运行真实prompt合并、tool search、memory、session、workflow、审批、重试和子Agent。L3通过真实产品入口检查消息渲染、产物访问、跨设备恢复、用户权限和人工接管。高层失败时用低层结果定位原因，而非以低层通过替代高层验收。

保持输入和边界可比

各层使用同一组任务意图、数据版本和成功合同；明确简化层省略了什么。相同模型在不同harness中可见工具、上下文预算及停止规则不同，分数不能混成单一排行榜。记录每层资源和费用，避免将更长时间或更多尝试误写为模型独立提升。

检查真实交付

典型层间故障包括：工具说上传成功但链接无权限；生成回复已显示却没有写入会话；手机恢复后丢失要求；草稿被界面误标为已发送。L3应核用户实际关心的终态，并保留回执。公开示例或厂商演示只能说明该设计可讨论，不能证明自有租户已经通过。生产候选至少在完整harness中评测，再以受控真实流量检验产品差距。

用相同故障跨层定位

例如报告生成器能直接导出正确文件，工具层可通过；自然语言任务却选择错误模板，问题可能在模型或描述；运行重启后找不到文件，是持久化边界；界面链接过期，是产品交付边界。每层使用同一合同的相关部分，并记录覆盖矩阵。模拟工具便于快速迭代，真实连接器可发现授权、分页和限流差异，两类结果都要留存，不能用模拟全绿替代真实环境资格。