Actor ↔ 终端

命令与工具返回

最终验收

通过 P · 成功 S

FDR 或 SPR

报告 → 终点奖励 R

GAE / TB-GAE

奖励 R + 价值 V

Critic

前缀 → 价值预测 V

Actor

用 A 做 PPO 更新

Critic

回归 Ĝ = A + V

B · RPR：一条轨迹生成两类训练目标

每个生成前缀

V

R

A

Ĝ

分数由任务验证器计算；Critic 学习预测从当前历史继续执行的回报。