Actor

方策 θ

成功軌跡

検証済み

再構成・再検証

計画 → 再実行

SFT

Actor のみ更新

Actor ↔ 端末

新軌跡を生成

検証器 → 報酬

FDR / SPR · R

GAE / TB-GAE

生成位置を遡る

Actor 更新

PPO · A

継承した Critic

RSR 前の重み

価値予測 V

各生成前の履歴

Critic 更新

目標 Ĝ に回帰

A · RSR：成功経験 → 新しい手本

B · RPR：実行結果 → パラメータ更新

教師あり調整後の Actor

報酬 R

軌跡の各生成前の履歴

V

A

Ĝ

Actor を継承し、次の RSR へ

Critic を継承し、次の RPR へ

各 RPR 段階：Critic のみ 4 回更新後、共同学習