原子概念 / Learning Method Selection
先定位瓶颈再选学习方式
区分运行内适应、memory、skill、harness改进和权重训练,按根因选择最小有效改变。
检索别名:学习路线 · 根因 · 五种学习
01 输入
- 失败trace和业务目标
- 模型数据工具现状
- 方案及成本预算
02 处理机制
- 分知识控制能力根因
- 选择五类学习通道
- 以最小改变做基线对照
- 用持出成本判断增量
03 输出与证据
- 学习路线和实验假设
- 变更对象及晋升条件
五种改变分别解决什么
运行内适应利用当前context调整计划,结束后未必保留;memory保存带scope的事实与偏好;skill沉淀可复用方法;harness优化工具、检索、控制和验证;权重训练改变模型参数。前四种可以提高系统表现而底层模型完全不变。不要用“自我学习”把这些通道混在一起,分别记录变更对象、验证方式、删除责任与回滚范围。
先从失败证据定位瓶颈
找不到资料先检查连接器、解析、召回、rerank与ACL;算错先用程序;参数错先修工具描述和错误反馈;跨session丢状态先修持久日志和memory;重复写入先修幂等。只有正确证据已经可用、接口和约束合理,模型仍稳定出现行为缺口,才把微调作为优先候选。强模型对照也能帮助判断是能力上限还是环境问题。
用最小改变形成可比较实验
固定任务、数据、权限和预算,比较原方案、prompt或工具改进、不同模型以及训练候选。记录目标能力、预期收益和不应退化的切片;用开发集迭代,用持出任务确认泛化。不能以训练loss更低、记忆更多或模型自称更会做事代替端到端证据。
晋升看增量收益
将每成功任务成本、人工修订、严重错误、尾延迟及维护开销一起比较。训练和运营需要持续投入,历史投入不构成强行上线的理由。允许系统自动提方法或配置diff,但把权限、隐藏grader和正式发布指针留在受信控制层。学习的目标是可迁移能力,而非背住某家公司的答案或某位学生的一段对话。
RELATIONSHIP MAP
与其他节点的关系
箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。
哪些节点指向本页 · 1
- Trace到能力改进的闭环 — 依赖 → 先定位瓶颈再选学习方式
反馈先归因再变更。
PRIMARY SOURCES
来源与阅读边界
来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。
- Anthropic:Agent评测方法 ↗官方文档 / 声明
学习收益需在独立业务任务验证。