[RL Notes] 时序差分的目标
Contents
1. 半梯度下降
\begin{equation}
\boldsymbol{\mathrm{w}}_{t+1} \doteq \boldsymbol{\mathrm{w}}_t + \alpha \big[U_t – \hat{v}(s, \boldsymbol{\mathrm{w}}_t)^2\big] \nabla \hat{v}(s, \boldsymbol{\mathrm{w}}_t) \tag{1}
\end{equation}
如果 $U_t$ 是一个无偏估计，即满足对于任意的 $t$，有 $\mathbb{E}[U_t|S_t=s] = v_{\pi}(S_t)$，那么 $\boldsymbol{\mathrm{w}}$ 会收敛到局部最优。
如果使用将式 $(1)$ 中的 $U_t$ 替换为自举的目标，例如单步时序差分的目标，即
\begin{equation}
U_{t} \doteq R_{t+1} + \gamma \hat{v}(S_{t+1}, \boldsymbol{\mathrm{w}}) \tag{2}
\end{equation}
此时的目标会依赖于当前的价值估计 $\hat{v}(S_{t+1}, \boldsymbol{\mathrm{w}})$，当前的价值估计很可能不等于真实的价值，这就导致 $U_{t}$ 是有偏的，不能保证 $\boldsymbol{\mathrm{w}}$ 收敛到价值误差的局部最优。计算式 $(2)$ 对 $\boldsymbol{\mathrm{w}}$ 的梯度，可得
\begin{equation}
\nabla \frac{1}{2} \big[U_t – \hat{v}(S_t, \boldsymbol{\mathrm{w}})\big]^2 = \big(U_t – \hat{v}(S_t, \boldsymbol{\mathrm{w}})\big) \big(\nabla U_t – \nabla \hat{v}(S_t, \boldsymbol{\mathrm{w}})\big) \tag{3}
\end{equation}
注意由式 $(2)$ 可知 $U_t$ 依赖于 $\boldsymbol{\mathrm{w}}$，有
\begin{equation}
\nabla U_t = \nabla \big(R_{t+1} + \gamma \hat{v}(S_{t+1}, \boldsymbol{\mathrm{w}})\big) = \gamma \nabla \hat{v}(S_{t+1}, \boldsymbol{\mathrm{w}}) \tag{4}
\end{equation}
如果使用式 $(3)$ 进行“梯度下降”，则在对权重的优化过程中，只考虑了改变权重对估计的影响，而忽略了对目标的影响。由于只包含一部分梯度，这种方法称为半梯度（semi-gradient）方法。
虽然半梯度方法不能像梯度方法那样稳健地收敛，但它在多数情况下仍能可靠地收敛，而且由于时序差分目标相比收益的采样通常具有较小的方差，这使得它能更快收敛。
2. 半梯度 TD 算法
使用半梯度的 TD(0) 算法如下所示。
半梯度 TD(0)，用于估计 $\hat{v} \approx v_{\pi}$
输入：待评估的策略 $\pi$
输入：一个可微的函数 $\hat{v}: \mathcal{S}^+ \times \mathbb{R}^d \rightarrow \mathbb{R}$，满足 $\hat{v}(终止状态,\cdot) = 0$
算法参数：步长 $\alpha > 0$
对价值函数的权值 $\boldsymbol{\mathrm{w}} \in \mathbb{R}^d$ 进行任意的初始化（例如 $\boldsymbol{\mathrm{w}} = 0$）
对每一幕循环：
初始化 $S$
对该幕的每一步循环：
选取 $A \sim \pi(\cdot|S)$
采取动作 $A$，观察 $R, S’$
$\boldsymbol{\mathrm{w}} \leftarrow \boldsymbol{\mathrm{w}} + \alpha [R + \gamma \hat{v}(S’, \boldsymbol{\mathrm{w}}) – \hat{v}(S, \boldsymbol{\mathrm{w}})] \nabla \hat{v}(S, \boldsymbol{\mathrm{w}})$
$S \leftarrow S’$
直到 $S’$ 为终止状态