数据挖掘之强化学习 - II.pdfVIP

大纲  策略学习  动态规划方法  蒙特卡洛方法  时序差分方法  参数近似方法 贝尔曼最优性方程  给定策略，状态估值函数的贝尔曼方程  状态估值函数的贝尔曼最优性方程 动态规划  给定策略下状态估值函数的更新规则  最优状态估值函数的更新规则 注意：这里红色圆圈里的等号表示“赋值”，而不是贝尔曼方程里的“相等” 策略估值  给定策略，该策略下的状态估值函数满足 ′  假如环境 ,|, 已知，状态估值函数的求解方式有  求解线性方程组  计算开销大  寻找不动点——迭代策略估值 迭代策略估值  迭代策略估值的更新规则 又被称为“期望更新” 状态新一轮的估值是基于所有可能的下一状态′的期望计 算得到的 （注意：不是基于某一次采样） 迭代策略估值的实现  两种实现方式  同步更新：两个数组存放“新”和“旧”的状态估值  异步更新：收敛速度快一些，尽早利用了新信息  仅使用一个数据组，“就地”更新（算法如下）