Tag Archive: Reinforcement Learning

[RL Note] 重要度采样和离轨蒙特卡洛预测

1. 基于重要度采样的离轨策略   前文中的蒙特卡洛预测算法通过计算回报的平均值来估计状态价值,即 \begin{equation} v_\pi(s) \doteq \mathbb{E}_\pi[G_t|S_t = s] = \mathrm{average}(Returns(s)) \tag{1} \end{equation} 而在离轨策略中,样本是通过行动策略获得的,此时计算回报的平均值估计的是…
Read more

[RL Note] 离轨策略

1. 同轨策略和离轨策略   通过确保智能体不断地选择所有可能的动作,可以让智能体不断地进行试探,有两种方法可以达到这一点。   同轨策略(on-policy)方法使用相同的策略生成采样数据序列以及用于实际决策的待评估和改进的策略。前文中的蒙特卡洛试探性出发算法和 $\varepsilon$-软策略都属于同轨策略。$\varepsilon$-软策略不要求满足试探性出发的假设,但它在获得收益和在试探…
Read more

[RL Note] epsilson 软性策略

  在动作价值的蒙特卡洛估计中提到,真实环境中并不是总能满足试探性出发的假设,某些任务中的状态和动作太多,或者实验的成本很大,无法确保智能体能够以所有可能的“状态-动作”二元组作为起始状态。   前面提到的 $\varepsilon$-贪心方法是一种 $\varepsilon$-贪心策略,即在绝大多数情况下选择获得最大动作价值估计的动作,同时而以一个较小的概率 $\varepsilon$ 随机选择…
Read more

[RL Note] 蒙特卡洛方法和蒙特卡洛预测

1. 蒙特卡洛方法   使用动态规划来估计价值函数和寻找最优策略虽然效率很高,但是要求知道 MDP 的动态特性 $p(s’,r|s,a)$。而在很多实际问题中,我们并不具有关于环境状态变化的先验知识,此时就需要能够仅从经验中学习,即从真实或模拟的环境交互中采样得到状态、动作、收益序列,并对价值进行估计。   蒙特卡洛(Monte Carlo)方法指的是一系列从重复采样中进行估计的方法。…
Read more

[RL Note] 广义策略迭代

1. 广义策略迭代   策略迭代包含策略评估和策略改进两个不断交替进行、相互作用的步骤,前文给出的策略迭代方法只在一个步骤完成后才开始下一个步骤,但这并不是必须的。使用广义策略迭代指代各种组织策略评估和策略改进相互作用的一般方法。 2. 价值迭代   注意到一次策略评估本身就是一个迭代的过程,如使用前文中的迭代策略评估算法,这是一个非常耗时的计算。有多种方式可以提前截断策略迭代中的策略评估步骤,而…
Read more