Trace到能力改进的闭环

将反馈连接成可执行改变

闭环从生产trace与用户反馈出发，经过用途与隐私处理、重放、根因分类、新case和金标、候选改变、离线持出、专家抽审、shadow、canary，最后晋升或回滚。日志记录发生了什么，专家解释哪些差异影响业务，评测把这些判断变成可重复标准；三者缺一，反馈容易停留在评论里。

不把所有问题交给Prompt

证据缺失修接入和检索，参数不清修工具，跨session遗忘修日志与memory，顺序和授权问题修workflow与policy。有充分证据仍稳定推理错误时，再比较prompt、skill、模型或权重训练。自动分类只是候选诊断，重要根因应附证据和人工确认；同一失败可以有主次因素。

自适应有不同机制

ACE一类研究更新context playbook，memory整理更新外部状态；SFT或SEAL类路线才涉及权重改变。这些论文实验或公开示例的结果不能证明任意企业任务自动获益。每种改变明确输入、作用域、成本、适用范围和回滚方式，并通过未参与优化的新任务判断效果。持续保存原始聊天也可能持续累积错误。

控制自动化的最后一步

优化器可以提diff、生成用例或建议rubric，但不应独自掌握隐藏test、reward、生产权限和晋升指针。保留独立持出，校准judge，避免自己出题自己改卷的闭环。以每成功任务成本、严重错误、审阅时间和业务目标观察复利，允许停止没有净收益的改进。OpenAI公开improvement loop展示了trace到变更建议的连接方式，其演示不替代自有任务的验证。