工具调用与副作用评测

分开测会不会选与执行对不对

工具评测包含选择、参数、执行和效果四层。选择层观察应调用时是否调用、不需要时是否滥用；参数层检查格式和真实语义，例如日期、实体、币种与过滤范围。schema通过不说明用户ID正确，参数都合法也不说明这位调用者有权操作。身份、tenant和权限应由服务端注入并校验。

使用真实后置条件

读工具核对数据属于正确租户、版本和时间范围，包含必要分页，未把空结果当成功答案。写工具核对权威系统终态和操作回执：工单是否存在、金额是否一致、记录版本是否更新。按稳定business_operation_id追踪网络attempt，重试保持同一动作身份。超时意味着结果未知，先查询外部状态，不能假设未执行后再创建一份。

对故障和合法路径都宽严适当

构造参数错误、429、连接中断、审批过期、权限撤销、分页漏页及并发改写。检查工具是否给出可修复错误，Agent是否在预算内恢复、正确停止或升级。不要把参考轨迹作为唯一正确路线；只有法律、账务或依赖合同要求时才强制顺序。两种不同工具组合可以取得同样合法终态。

指标支持定位而非只做排名

报告工具选择precision/recall、参数语义正确率、越权、重复写入、恢复率、调用次数与成本。把工具服务故障和模型误用分开归因，同时保留端到端影响。每次schema或错误格式变化重新跑完整harness；单独mock工具通过无法证明生产连接器、凭据和业务系统正确。最终解释应说清系统确认了什么，以及哪些效果仍缺证据。

不只比对标准动作序列

同一信息可以先按公司再按日期检索，也可以一次组合查询；二者都满足合同，不应因步骤不同判错。相反，参数结构合法但证券身份、单位或收件人错了，必须判语义错误。对结果未知动作，可注入提交后断网，检查系统是否先查询业务状态再决定重试。调用日志、业务记录和回执之间应可关联，不能只依赖模型叙述已经完成。