Agent RL、GRPO与奖励设计

RL优化奖励，GRPO是一种算法选择

Agent强化学习围绕策略产生轨迹，再依据reward更新行为；GRPO属于其中一种优化算法，不能与RL当成两个互斥目标。可执行工具环境、算术或受控业务任务能提供较清晰反馈，但奖励仍是业务成功的代理。先定义合法状态、动作、停止、成本与禁止结果，才能讨论训练。

Reward设计决定优化方向

奖励可结合任务终态、硬权限、产物验证、工具费用与预算。不要只奖励“测试通过”而允许修改测试，不要只奖励搜索覆盖而鼓励无限调用，也不要只奖励judge喜欢而诱导冗长自信。对关键信息缺失，正确暂停应有明确处理。奖励组件、权重和oracle版本进入训练manifest。

多步轨迹增加工程要求

记录每轮模型输入、工具动作、环境结果、终止原因及资源。状态重放、失败恢复和并行隔离影响训练信号；工具或任务随机性过大时，区分策略质量与环境噪声。模型可利用环境漏洞，必须保护隐藏grader并检查越权、外传与重复副作用。训练环境的可验证性不意味着能无风险连接生产系统。

独立验证防止奖励投机

保留未参与reward调优的任务与攻击变体，使用领域专家和不同验证途径检查泛化。比较基座、SFT基线与RL候选的成功成本、严重错误、稳定性和跨域退化；不要只展示训练reward上升。ART等公开框架提供实现入口，其案例收益不自动外推到企业任务。候选只在资格、持出和受控灰度通过后晋升，不能让训练Agent改写自己的发布规则。