[RL Notes] Dyna 架构
1. Dyna 架构 智能体与环境交互获得经验，这些经验一方面可以直接用于学习，例如通过Q 学习的方法，更新价值函数和策略，这称为直接强化学习（direct RL）。直接学习直接与环境交互，不受模型设计偏差的影响。另一方面，这些经验可以用来改进模型，即模型学习，并通过如Q 规划的方法从模型模拟的经验中学习，称为间接强化学习。间接学习可以在有限交互的基础上充分利用已有的经验。 Dyna 架构…
Read more
learn, build, evaluate
1. Dyna 架构 智能体与环境交互获得经验，这些经验一方面可以直接用于学习，例如通过Q 学习的方法，更新价值函数和策略，这称为直接强化学习（direct RL）。直接学习直接与环境交互，不受模型设计偏差的影响。另一方面，这些经验可以用来改进模型，即模型学习，并通过如Q 规划的方法从模型模拟的经验中学习，称为间接强化学习。间接学习可以在有限交互的基础上充分利用已有的经验。 Dyna 架构…
Read more