增强学习ReinforcementLearning经典算法梳理.docx

增强学习ReinforcementLearning经典算法梳理 增强学习ReinforcementLearning经典算法梳理 PAGE 增强学习ReinforcementLearning经典算法梳理 加强学习ReinforcementLearning 经典算法梳理 1：policyandvalue iteration 序言 就目前来看，深度加强学习（ DeepReinforcementLearning) 中的好多方法都是鉴于从前的加强学习算法， 将此中的 valuefunction 价值函数或许 Policyfunction 策略函数用深度神经网络代替而实现。所以，本文试试 总结加强学习中的经典算法。 本文主要参照： 1ReinforcementLearning:AnIntroduction ；2ReinforcementLearningCourseby DavidSilver 1预备知识 对加强学习有所理解，知道 MDP，Bellman 方程 详尽可见：DeepReinforcementLearning 基础知识（DQN方面） 好多算法都是鉴于求解 Bellman 方程而形成： ValueIteration PolicyIteration Q-Learning SARSA 2PolicyIteration 策略迭代 PolicyIteration 的目的是经过迭代计算 valuefunction 价值函数的方式来使 policy 收敛到最优。 PolicyIteration 实质上就是直接使用 Bellman 方程而获取的： 那么PolicyIteration 一般分红两步： PolicyEvaluation 策略评估。目的是 更新ValueFunction PolicyImprovement 策略改良。 使用 greedypolicy 产生新的样本用于第一步的策略评估。 实质上就是使用目前策略产生新的样本，而后使用新的样本更新目前的策略，而后不停频频。理论能够证明最后策略将收敛到最优。详细算法： 那么这里要注意的是 policyevaluation 部分。这里的迭代很重要的一点是需要知道 state 状态转移概率 p。 也就是说依靠于 model 模型。并且依据算法要频频迭代直到收敛为止。所以一般需要做限制。比方到某一个比率 或许次数就停止迭代。 3ValueIteration 价值迭代 ValueIteration 则是使用 Bellman 最优方程获取 而后改变为迭代形式 valueiteration 的算法以下： 那么问题来了： PolicyIteration 和ValueIteration 有什么实质差别？ 为何一个叫 policyiteration ，一个叫 valueiteration 呢？ 原由其实很好理解， policyiteration 使用bellman 方程来更新 value，最后收敛的 value 即vπ是目前 policy 下的value值（所以叫做对 policy 进行评估），目的是为了后边的 policyimprovement 获取新的 policy。 而valueiteration 是使用bellman 最优方程来更新 value，最后收敛获取的 value即v?就是目前 state状 态下的最优的 value值。所以，只需最后收敛，那么最优的 policy 也就获取的。所以这个方法是鉴于更新 value 的，所以叫 valueiteration 。 从上边的剖析看， valueiteration 较之policyiteration 更直接。可是问题也都是同样，需要知道状态转移函 数p才能计算。实质上依靠于模型，并且理想条件下需要遍历全部的状态，这在略微复杂一点的问题上就基本不行能了。 4异步更新问题 那么上边的算法的核心是更新每个状态的 value值。那么能够经过运转多个实例同时收集样原来实现异步更 新。而鉴于异步更新的思想， DeepMind 出了一篇不错的 paper：AsynchronousMethodsforDeep ReinforcementLearning 。该文对于 Atari游戏的成效获取大幅提高。 小结 ReinforcementLearning 有好多经典算法，好多算法都鉴于以上衍生。鉴于篇幅问题，下一个 blog 再剖析 鉴于蒙特卡洛的算法。 加强学习ReinforcementLearning 经典算法梳理 2：蒙特卡洛方法 序言 在上一篇文章中，我们介绍了鉴于 Bellman 方程而获取的 PolicyIteration 和ValueIteration 两种基本的算 法，可是这两种算法实质上很难直策应用，原由在于依旧是偏于理想化的两个算法，需要知道状态转移概率，也