[RL Notes] 估计策略的梯度

Author: nex3z 2019-11-10

　　策略梯度定理给出了计算策略梯度的简单方法

$$\begin{equation} \nabla r(\pi) = \sum_{s} \mu_\pi(s) \sum_{a} \nabla \pi(a|s, \boldsymbol{\mathrm{\theta}}) q_{\pi}(s, a) \tag{1} \end{equation}$$

其中的 $\sum_{s} \mu_\pi(s)$ 需要对所有状态求和，在实际场景中，智能体与环境交互产生一系列轨迹

$$\begin{equation} S_0, A_0, R_1, S_1, A_1, \cdots, S_t, A_t, R_{t+1}, \cdots \end{equation}$$

对所有状态求和并不实际。

　　回顾使用随机梯度下降进行状态价值函数预测的更新公式

$$\begin{equation} \boldsymbol{\mathrm{w}}_{t+1} \doteq \boldsymbol{\mathrm{w}}_t + \alpha \Big[U_t – \hat{v}(S_t, \boldsymbol{\mathrm{w}}_t)\Big] \nabla \hat{v}(S_t, \boldsymbol{\mathrm{w}}_t) \end{equation}$$

如果 $U_t$ 是 $v_\pi(S_t)$ 的无偏估计，那么 $\boldsymbol{\mathrm{w}}_t$ 会收敛到一个局部最优解。

　　类似地，注意到式 $(1)$ 实际上是一个期望

$$\begin{align} \nabla r(\pi) &= \sum_{s} \mu_\pi(s) \sum_{a} \nabla \pi(a|s, \boldsymbol{\mathrm{\theta}}) q_{\pi}(s, a) \\ &= \mathbb{E}_\mu\Big[\sum_{a} \nabla \pi(a|s, \boldsymbol{\mathrm{\theta}}) q_{\pi}(s, a)\Big] \tag{2} \end{align}$$

实际上，我们在策略 $\pi$ 下观察到的状态序列服从 $\mu(s)$ 规定的分布，在状态 $S_t$ 上计算得到的梯度是式 $(2)$ 所示期望的无偏估计，因此可以去掉式 $(1)$ 中对每个状态的求和，而使用在策略 $\pi$ 下观察到的样本代替，得到策略参数的随机梯度下降更新公式

$$\begin{equation} \boldsymbol{\mathrm{\theta}}_{t+1} \doteq \boldsymbol{\mathrm{\theta}}_t + \alpha \sum_{a} \nabla \pi(a|S_t, \boldsymbol{\mathrm{\theta}}_t) q_{\pi}(S_t, a) \tag{3} \end{equation}$$

　　更进一步地，考虑 $\sum_{a} \nabla \pi(a|S_t, \boldsymbol{\mathrm{\theta}}_t) q_{\pi}(S_t, a)$ 这一项，它也可以写成期望的形式

$$\begin{align} &\sum_{a} \nabla \pi(a|S_t, \boldsymbol{\mathrm{\theta}}_t) q_{\pi}(S_t, a) \\ &= \sum_{a} \pi(a|S_t, \boldsymbol{\mathrm{\theta}}) \frac{1}{\pi(a|S_t, \boldsymbol{\mathrm{\theta}})} \nabla \pi(a|S_t, \boldsymbol{\mathrm{\theta}}_t) q_{\pi}(S_t, a) \\ &= \mathbb{E}_{\pi}\bigg[\frac{\nabla \pi(A_t|S_t, \boldsymbol{\mathrm{\theta}}_t)}{\pi(A_t|S_t, \boldsymbol{\mathrm{\theta}}_t)} q_{\pi}(S_t, A_t) \bigg] \quad 用采样 \; A_t \sim \pi \; 替换 \; a \tag{4} \end{align}$$

由此消除了式 $(3)$ 中对动作的求和，得到新的策略参数的更新公式

$$\begin{equation} \boldsymbol{\mathrm{\theta}}_{t+1} \doteq \boldsymbol{\mathrm{\theta}}_t + \alpha \frac{\nabla \pi(A_t|S_t, \boldsymbol{\mathrm{\theta}}_t)}{\pi(A_t|S_t, \boldsymbol{\mathrm{\theta}}_t)} q_{\pi}(S_t, A_t) \tag{5} \end{equation}$$

上式也可以写成

$$\begin{equation} \boldsymbol{\mathrm{\theta}}_{t+1} \doteq \boldsymbol{\mathrm{\theta}}_t + \alpha \nabla \ln \pi(A_t|S_t, \boldsymbol{\mathrm{\theta}}_t) q_{\pi}(S_t, A_t) \tag{6} \end{equation}$$

由于策略及其参数化是已知的，容易计算 $\nabla \ln \pi(A_t|S_t, \boldsymbol{\mathrm{\theta}}_t)$。$q_{\pi}(S_t, A_t)$ 一项可以使用 TD 等方法进行逼近。