TB-GAE：対話ターンを越えて終端報酬を伝える
γ = 0.9、λ = 0.8、q = γλ = 0.72。終端報酬のみ 1 とする。
実際の対話
ターン 1
ターン 2
観測は次の判断にも使う。「スキップ」は下の GAE 再帰だけを変える。
同じ実行、信用を遡る 3 つの時計
全トークン列生成・観測とも再帰
g₁
生成位置 g1。混合テキスト列では生成位置と観測位置の両方がアドバンテージ再帰に入る。学習損失で観測位置をマスクしても、この再帰経路では減衰が生じる。
g₂
生成位置 g2。混合テキスト列では生成位置と観測位置の両方がアドバンテージ再帰に入る。学習損失で観測位置をマスクしても、この再帰経路では減衰が生じる。
g₃
生成位置 g3。混合テキスト列では生成位置と観測位置の両方がアドバンテージ再帰に入る。学習損失で観測位置をマスクしても、この再帰経路では減衰が生じる。
g₄
生成位置 g4。混合テキスト列では生成位置と観測位置の両方がアドバンテージ再帰に入る。学習損失で観測位置をマスクしても、この再帰経路では減衰が生じる。
R = 1
最後の生成位置で報酬を 1 度だけ与え、終端 TD 残差を作る。その後、生成位置を遡って再帰する。
o₁
ツール観測の位置。混合テキスト列では GAE 再帰に入り、減衰が 1 回増える。この位置の方策損失は 0 である。
o₂
ツール観測の位置。混合テキスト列では GAE 再帰に入り、減衰が 1 回増える。この位置の方策損失は 0 である。
o₃
ツール観測の位置。混合テキスト列では GAE 再帰に入り、減衰が 1 回増える。この位置の方策損失は 0 である。
q
q
q
q
q
q
終端残差の重み：q⁶ ≈ 0.1393（ここではログを 3 トークンとする）
SAO · 観測スキップ生成位置の各遷移 ×q
g₁
生成位置 g1。観測だけを飛ばす模式的な再帰であり、生成位置間の各辺では引き続き q を掛ける。「観測のスキップ」と「ターン間の時計」という 2 つの手順を区別するための図である。
g₂
生成位置 g2。観測だけを飛ばす模式的な再帰であり、生成位置間の各辺では引き続き q を掛ける。「観測のスキップ」と「ターン間の時計」という 2 つの手順を区別するための図である。
g₃
生成位置 g3。観測だけを飛ばす模式的な再帰であり、生成位置間の各辺では引き続き q を掛ける。「観測のスキップ」と「ターン間の時計」という 2 つの手順を区別するための図である。
g₄
生成位置 g4。観測だけを飛ばす模式的な再帰であり、生成位置間の各辺では引き続き q を掛ける。「観測のスキップ」と「ターン間の時計」という 2 つの手順を区別するための図である。
R = 1
最後の生成位置で報酬を 1 度だけ与え、終端 TD 残差を作る。その後、生成位置を遡って再帰する。
q
q
q
観測位置を飛ばす
終端残差の重み：q³ ≈ 0.3732
TB · ターン時計ターン間のみ ×q
g₁
生成位置 g1。TB-GAE はこの位置固有の生成前の価値ベースラインを保つ。同じターンの目標は共通でも、アドバンテージは異なり得る。
g₂
生成位置 g2。TB-GAE はこの位置固有の生成前の価値ベースラインを保つ。同じターンの目標は共通でも、アドバンテージは異なり得る。
g₃
生成位置 g3。TB-GAE はこの位置固有の生成前の価値ベースラインを保つ。同じターンの目標は共通でも、アドバンテージは異なり得る。
g₄
生成位置 g4。TB-GAE はこの位置固有の生成前の価値ベースラインを保つ。同じターンの目標は共通でも、アドバンテージは異なり得る。
R = 1
最後の生成位置で報酬を 1 度だけ与え、終端 TD 残差を作る。その後、生成位置を遡って再帰する。
1
q
1
観測位置を飛ばす
終端残差の重み：q = 0.72。同じターン内では減衰なし
同じターンは目標を共有し、各接頭辞は固有のアドバンテージを持つ
ターン 1
g₁
g₂
0.20
0.40
0.81
0.81
0.61
0.41
次のターンの始点では V=0.5、A=0.5。共通目標は U₁=0.9×(0.5+0.8×0.5)=0.81。各接頭辞が自分の V を引き、A₁=0.81−0.2=0.61、A₂=0.81−0.4=0.41 となる。
ターン 2
g₃
g₄
0.50
0.80
1.00
1.00
0.50
0.20
ターン 2 の終了で実際に終端し、報酬は終端の 1 だけである。そのため 2 つの生成位置の共通目標はいずれも 1。各自の V を引くとアドバンテージは 0.5 と 0.2 になる。
生成前の価値 V
共通目標 U
優位性 A = U − V
U₁ = 0.9 × (0.5 + 0.8 × 0.5) = 0.81
上段は終端残差の伝播係数、下段はリターン目標とアドバンテージの計算。
γ = λ = 1 なら 3 列とも係数は 1。RPR-1 はこの設定の標準 GAE を用いる。