强化学习课件.pptVIP

Continuous control with deep reinforcement learning /u013236946/article/details* Continuous control with deep reinforcement learning /u013236946/article/details* Continuous control with deep reinforcement learning /u013236946/article/details* SARSA Q-Learning TD(0) with function approximation DQN Double Q-learning 基于策略的强化学习 3 策略梯度算法 Part Iterative Policy evaluation Policy Iterative Reinforce with baseline (episodic) Actor-Critic (episodic) 深度强化学习经典算法 4 A3C DDPG Part DQN DQN Dueling-DDQN A3C A3C DDPG DDPG DDPG DDPG 强化学习算法应用 5 这里可以用一段简洁的文字描述出本章中心思想，或者作为章节导语。还可以列出本章的小节标题。 Part 实际应用 总体思路 主要介绍了强化学习的基本概念，强化学习分类，强化学习经典算法，以及近几年用的较多的强化学习算法，最后提出了强化学习的应用场景和强化学习模型。 后记 谢谢大家! 汇报人： 那么这里要注意的是policy evaluation部分。这里的迭代很重要的一点是需要知道state状态转移概率p。也就是说依赖于model模型。而且按照算法要反复迭代直到收敛为止。所以一般需要做限制。比如到某一个比率或者次数就停止迭代。那么需要特别说明的是不管是策略迭代还是值迭代都是在理想化的情况下（上帝视角）推导出来的算法，本质上并不能直接应用，因为依赖Model。 * /aliceyangxi1987/article/details* /jinxulin/p/3560737.html * 作者：知乎用户链接：/questionanswer/135905486来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。DQN这篇文章的算法就是Q-learning+function approximation（只不过function approximation是比较特殊的），每一次根据所获得的来更新Q-value，本质就是stochastic gradient descent (SGD)。一般在用mini-batch SGD做优化时，都假设样本之间的相对独立，从而使得每个mini-batch内数据所含的噪声相互抵消，算法收敛的更快。 在这个问题中，之所以加入experience replay是因为样本是从游戏中的连续帧获得的，这与简单的reinforcement learning问题（比如maze）相比，样本的关联性大了很多，如果没有experience replay，算法在连续一段时间内基本朝着同一个方向做gradient descent，那么同样的步长下这样直接计算gradient就有可能不收敛。因此experience replay是从一个memory pool中随机选取了一些expeirence，然后再求梯度，从而避免了这个问题。 原文的实验中指出mini batch是32，而replay memory存了最近的1000000帧，可以看出解决关联性的问题在DQN里是个比较重要的技巧。 这个experience replay并不新，23年前就有人提出来了，只不过当时没有convolution networks，没有好的GPU，只有atari game。 * 作者：知乎用户链接：/questionanswer/135905486来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。DQN这篇文章的算法就是Q-learning+function approximation（只不过function approximation是比较特殊的），每一次根据所获得的来更新Q-value，本质就是stochastic gradient descent (SGD)。一般在用mini-batch SGD做优化时，都假设样本之间的相对独立，从而使得每个mini-batch内数据所含的噪声相互抵消，算法收敛的更快。 在这个