高级人工智能_第十章_强化学习.pdf

高级人工智能 第十章 强化学习 史忠植 中国科学院计算技术研究所 2015/5/5 强化学习 史忠植 1 内容提要  引言  强化学习模型  动态规划  蒙特卡罗方法  时序差分学习  Q学习  强化学习中的函数估计  应用 2015/5/5 强化学习 史忠植 2 引言 人类通常从与外界环境的交互中学习。所谓强化 （reinforcement）学习是指从环境状态到行为映射 的学习，以使系统行为从环境中获得的累积奖励值最 大。在强化学习中，我们设计算法来把外界环境转化 为最大化奖励量的方式的动作。我们并没有直接告诉 主体要做什么或者要采取哪个动作,而是主体通过看 哪个动作得到了最多的奖励来自己发现。主体的动作 的影响不只是立即得到的奖励，而且还影响接下来的 动作和最终的奖励。试错搜索(trial-and-error search)和延期强化(delayed reinforcement)这两个 特性是强化学习中两个最重要的特性。 2015/5/5 强化学习 史忠植 3 引言 强化学习技术是从控制理论、统计学、心理学等相关 学科发展而来，最早可以追溯到巴甫洛夫的条件反射 实验。但直到上世纪八十年代末、九十年代初强化学 习技术才在人工智能、机器学习和自动控制等领域中 得到广泛研究和应用，并被认为是设计智能系统的核 心技术之一。特别是随着强化学习的数学基础研究取 得突破性进展后，对强化学习的研究和应用日益开展 起来，成为目前机器学习领域的研究热点之一。 2015/5/5 强化学习 史忠植 4 引言  强化思想最先来源于心理学的研究。1911年Thorndike提出了效 果律（Law of Effect）：一定情景下让动物感到舒服的行为， 就会与此情景增强联系（强化），当此情景再现时，动物的这 种行为也更易再现；相反，让动物感觉不舒服的行为，会减弱 与情景的联系，此情景再现时，此行为将很难再现。换个说法， 哪种行为会 “记住”，会与刺激建立联系，取决于行为产生的 效果。  动物的试错学习,包含两个含义：选择（selectional）和联系 （associative），对应计算上的搜索和记忆。所以，1954年， Minsky在他的博士论文中实现了计算上的试错学习。同年， Farley和Clark也在计算上对它进行了研究。强化学习一词最早 出现于科技文献是1961年Minsky 的论文 “Steps Toward Artificial Intelligence” ，此后开始广泛使用。1969年， 2015/5/5 强化学习 史忠植 5 Minsky因在人工智能方面的贡献而获得计算机图灵奖。 引言  1953到1957年，Bellman提出了求解最优控制问题的一个有效方法： 动态规划（dynamic programming）  Bellman于 1957年还提出了最优控制问题的随机离散版本，就是著 名的马尔可夫决策过程（MDP, Markov decision processe）， 1960年Howard提出马尔可夫决策过程的策略迭代方法，这些都成为 现代强化学习的理论基础。  1972年，Klopf把试错学习和时序差分结