模型Router与Failover评测

Router本身会犯错

路由不只是省token的规则，它决定哪种任务交给哪个能力组合。输入可包括风险、复杂度、上下文、数据资格、deadline和成本。先建立可解释的确定性路由，再按真实证据决定是否训练router。把困难金融问题误分给便宜模型，是决策错误，不能在统计时剔除后宣称小模型成功率很高。

先给每个候选模型取得资格

按任务家族测试格式、工具、拒答、证据、权限和延迟；高风险任务设可路由模型允许列表。供应商故障时，备选必须有权处理同类数据并满足必要验证。若没有合格替代，返回有标记的降级结果、排队或升级人工；不能为了保持“可用”静默转到未经批准的端点。

评价选择和整体链路

单独测高风险识别漏判、复杂度分类、路由稳定性和fallback触发，再测端到端任务成功、严重错误与每成功任务成本。比较oracle路由、固定单模型和实际router，量化选择损失。切片保留任务难度和流量分布，不把便宜模型承担的简单样本与高档模型困难样本直接横比。

换模型时显式恢复状态

中途failover要用已提交任务状态、证据、工具回执和剩余预算重建上下文，不假设供应商共享隐式推理或工具ID。对尚未确认的写操作先查终态，避免新模型重复提交。路由策略、阈值和候选资格都进入release manifest；模型、价格或配额变化后重新测量。收益应体现在有效成本与风险约束，而不是单看便宜模型调用占比。

评估选择器本身的错误

按任务难度、领域、长度和风险分别给路由混淆情况。将高风险法律任务误送到未获资格的小模型，与把简单抽取送到昂贵模型，是不同损失。故障注入覆盖限流、超时、截断和工具协议不兼容，检查切换后是否丢引用或重复动作。为每条备援路径设置预算和停止条件，若没有合格模型则显式暂停。不能用便宜模型的大量简单任务掩盖难题分支的严重失败。