[RL Notes] 重要度采样和离轨蒙特卡洛预测
1. 基于重要度采样的离轨策略 蒙特卡洛预测算法通过计算回报的平均值来估计状态价值，即 \begin{equation} v_\pi(s) \doteq \mathbb{E}_\pi[G_t|S_t = s] = \mathrm{average}(Returns(s)) \tag{1} \end{equation} 而在离轨策略中，样本是通过行动策略获得的，此时计算回报的平均值估计的是行动策略…
Read more
[RL Notes] 离轨策略
1. 同轨策略和离轨策略 通过确保智能体不断地选择所有可能的动作，可以让智能体不断地进行试探，有两种方法可以达到这一点。 同轨策略（on-policy）方法使用相同的策略生成采样数据序列以及用于实际决策的待评估和改进的策略。前文中的蒙特卡洛试探性出发算法和 $\varepsilon$-软策略都属于同轨策略。$\varepsilon$-软策略不要求满足试探性出发的假设，但它在获得收益和在试探…
Read more