Tag Archive: Coarse Coding

[RL Note] 线性方法的特征构建

1. 粗编码   前文中提到,对于表格型的价值函数,可以通过对状态进行独热编码来构建特征,以此转换为线性函数的形式。如果状态非常多,独热编码后的特征向量就会非常长。一种更短的编码方式是先对近似的状态进行聚合,再对聚合后的状态进行独热编码。   状态聚合通常只将一个状态只被聚合到一个类里,但这并不是强制要求。如图 1 所示,使用若干个圆对状态空间进行划分,每个特征对应一个圆。如果状态在一个圆内,则对…
Read more