[RL Notes] 同轨预测的目标
1. 均方价值误差 在使用监督学习的方法学习价值函数时，也可以使用误差平方的方式衡量学习的价值函数与真实价值函数在某个状态上的差异。通常情况下，一个状态的更新会影响许多其他状态，在一个状态上的估计价值较准确就意味着别的状态的估计价值变得不那么准确，此时就需要进行取舍：指定那些状态是我们最关心的，着重优化这些状态。由此得到均方价值误差 \begin{equation} \overline{\ma…
Read more
[RL Notes] 使用监督学习估计价值函数
1. 参数化函数 之前介绍的学习算法都是基于表格的，问题涉及的状态和动作空间都很小，价值函数可以用表格保存下载。而实际场景中，往往涉及大量的状态和动作，难以用表格来保存价值函数。 除了用表格的方式，我们可以用任意实现状态到价值的映射的函数对价值函数进行估计，但如果仅仅是映射，每个状态对应一个固定的价值，就无法在学习过程中更新对价值进行更新。由此引入参数化的函数 \begin{equatio…
Read more
[RL Notes] 不正确的模型
规划依赖于模型生成模拟经验，如果模型不正确，规划就可能得到次优的策略。不正确的模型指的是模型中保存的状态转移与实际环境中的状态转移不符。如果在学习过程中环境发生了改变，而这些改变还没有被观察到，模型会给出错误的状态转移。在学习刚开始的时候，智能体只尝试过有限的动作，模型中还没有保存未选择过的动作的状态转移，此时称模型是不完整的。 1. 不完整的模型 对于模型不完整的问题…
Read more
[RL Notes] Dyna 架构
1. Dyna 架构 智能体与环境交互获得经验，这些经验一方面可以直接用于学习，例如通过Q 学习的方法，更新价值函数和策略，这称为直接强化学习（direct RL）。直接学习直接与环境交互，不受模型设计偏差的影响。另一方面，这些经验可以用来改进模型，即模型学习，并通过如Q 规划的方法从模型模拟的经验中学习，称为间接强化学习。间接学习可以在有限交互的基础上充分利用已有的经验。 Dyna 架构…
Read more
[RL Notes] 模型和规划
1. 模型 像时序差分这类基于采样的方法可以从经验中学习，而动态规划算法需要知道环境的运作方式，即环境模型。环境的模型指的是一个智能体可以用来预测环境对其动作的反应的任何事物，例如 MDP 的动态特性 $p(s’,r|s, a)$。通过这样的环境模型，我们可只知道在给定状态下采取某个动作所带来的后果，而不必真的去执行这个动作。 如果模型是随机的，则会一定概率出现的多种后继状态和…
Read more
[RL Notes] 期望 Sarsa
1. 期望 Sarsa 回顾 Sarsa 预测算法 的更新规则 \begin{equation} Q(S_t, A_t) \leftarrow Q(S_t, A_t) + \alpha \big[ R_{t+1} + \gamma Q(S_{t+1}, A_{t+1}) – Q(S_t, A_t) \big] \tag{1} \end{equation} 其中 $S_{t+1}$ …
Read more
[RL Notes] Q 学习：离轨策略下的时序差分控制
1. Q 学习 Q 学习是一种离轨策略下时序差分控制算法，它的更新规则为 \begin{equation} Q(S_t, A_t) \leftarrow Q(S_t, A_t) + \alpha \big[R_{t+1} + \gamma \max_{a}Q(S_{t+1}, a) – Q(S_t, A_t) \big] \tag{1} \end{equation} 式 $(1)$…
Read more
[RL Notes] Sarsa：同轨策略下的时序差分控制
1. 预测算法 通过 TD(0) 算法可以得到状态价值函数，而为了在广义策略迭代中使用时序差分方法，我们需要的是动作价值函数。 不同于 TD(0) 算法中只考虑状态之间的转换，现在要考虑“状态-动作”二元组之间的转换，并学习每个“状态-动作”二元组的价值。类似 TD(0) 对状态价值的更新，对“状态-动作”二元组价值的更新如下所示。 \begin{equation} Q(S_t, A_t)…
Read more
[RL Notes] 时序差分学习的优势
时序差分（TD）学习结合了动态规划（DP）和蒙特卡洛（MC）方法的关键思想，主要有以下优势： TD 像 MC 一样不需要环境模型，可以直接从经验中学习；而 DP 需要环境模型。 TD 像 DP 一样可以自举，而 MC 无法自举。 TD 可以在线增量地更新，DP 和 MC 都无法做到这一点。 TD 可以渐进地收敛到正确的预测值，而且通常收敛得比 MC 快。
[RL Notes] 时序差分学习——一个例子
1. 问题 使用《强化学习》（第二版）例 6.1 中开车回家的例子，在下班开车回家的路途中，不断地记录路上消耗的时间和估计到家的时间： 18:00 – 离开办公室的时间记为时刻 0，估计 30 分钟后到家。 18:05 – 5 分钟后到达车旁，发现开始下雨，估计路上会花更多时间，于是估计还要花 35 分钟到家（算上已经花费的 5 分钟，估计到家花费的总时间为 40 分钟…
Read more