跳到正文
SGSteven Guan

原子概念 / Learning Method Selection

先定位瓶颈再选学习方式

区分运行内适应、memory、skill、harness改进和权重训练,按根因选择最小有效改变。

要解决的问题何时改工具或记忆,何时才值得改变模型权重?

检索别名:学习路线 · 根因 · 五种学习

BLUEPRINT局部蓝图

01 输入

  1. 失败trace和业务目标
  2. 模型数据工具现状
  3. 方案及成本预算
→

02 处理机制

  1. 分知识控制能力根因
  2. 选择五类学习通道
  3. 以最小改变做基线对照
  4. 用持出成本判断增量
→

03 输出与证据

  1. 学习路线和实验假设
  2. 变更对象及晋升条件

五种改变分别解决什么

运行内适应利用当前context调整计划,结束后未必保留;memory保存带scope的事实与偏好;skill沉淀可复用方法;harness优化工具、检索、控制和验证;权重训练改变模型参数。前四种可以提高系统表现而底层模型完全不变。不要用“自我学习”把这些通道混在一起,分别记录变更对象、验证方式、删除责任与回滚范围。

先从失败证据定位瓶颈

找不到资料先检查连接器、解析、召回、rerank与ACL;算错先用程序;参数错先修工具描述和错误反馈;跨session丢状态先修持久日志和memory;重复写入先修幂等。只有正确证据已经可用、接口和约束合理,模型仍稳定出现行为缺口,才把微调作为优先候选。强模型对照也能帮助判断是能力上限还是环境问题。

用最小改变形成可比较实验

固定任务、数据、权限和预算,比较原方案、prompt或工具改进、不同模型以及训练候选。记录目标能力、预期收益和不应退化的切片;用开发集迭代,用持出任务确认泛化。不能以训练loss更低、记忆更多或模型自称更会做事代替端到端证据。

晋升看增量收益

将每成功任务成本、人工修订、严重错误、尾延迟及维护开销一起比较。训练和运营需要持续投入,历史投入不构成强行上线的理由。允许系统自动提方法或配置diff,但把权限、隐藏grader和正式发布指针留在受信控制层。学习的目标是可迁移能力,而非背住某家公司的答案或某位学生的一段对话。

RELATIONSHIP MAP

与其他节点的关系

箭头从本节点指向目标;关系是工程分析映射,不代表厂商合作或已披露的内部实现。

哪些节点指向本页 · 1

PRIMARY SOURCES

来源与阅读边界

来源按研究截止日整理。官方文档说明能力和约束,代码只证明对应版本,论文与讲座不自动证明生产效果。 资料截止:2026-10-15。

  1. Anthropic:Agent评测方法 ↗官方文档 / 声明

    学习收益需在独立业务任务验证。