当前 Actor
发现成功执行
成功轨迹
任务验收通过
重写与再验证
计划 → 重做
监督微调
只更新 Actor
Actor ↔ 终端
采样新轨迹
验证器 → 奖励
FDR / SPR · R
GAE / TB-GAE
沿生成位置递推
Actor 更新
PPO · 优势 A
继承 Critic
保留 RSR 前的权重
价值预测 V
每个生成前缀
Critic 更新
拟合目标 Ĝ
A · RSR：成功经验 → 新示范
B · RPR：执行结果 → 参数更新
微调后的 Actor
奖励 R
轨迹中的生成前缀
V
A
Ĝ
保留 Actor，开始下一轮 RSR
保留 Critic，交给下一轮 RPR
每个 RPR 阶段：先只更新 Critic 4 次，再联合训练