RSR は、検証済みで非公開の指示を除いた公開軌跡を使い、Actor だけを更新する。

校正後、Actor はアドバンテージを用いて PPO 更新を行い、Critic は引き続きリターン目標に適合させる。

まず現在の Actor の軌跡で Critic のみを 4 回更新し、方策と報酬に適応させる。初めて RPR-1 に入る前には、別途 1 エポックの SWR 価値ウォームアップを行う。

共同学習中もリターン目標への適合を続ける。各 RPR 段階で 4 回更新の校正を行うのは、開始時の 1 度だけである。