强化学习正文.indd-Error.PDFVIP

第一部分 Reinforcement Learning: State-of-the-Art 绪　　论 1 ~ 2 第1 章 Reinforcement Learning: State-of-the-Art 强化学习和马尔可夫决策过程 Martijn van Otterlo, Marco Wiering 摘要 在监督学习（supervised learning ）和无监督学习（unsupervised learning ）之间，强化学 习的模式可以处理时序决策问题中的学习，而这些决策问题只能得到有限的反馈。本章介绍 了马尔可夫决策过程和用于计算最优行为的两类算法的直观认识及概念：强化学习和动态规 划。首先，定义了马尔可夫决策过程的形式化框架，随后定义了价值函数（value function ） 和策略。 本章根据最优性的各种定义以及时序决策学习的目标，主要介绍了用于学习最优行为的 算法的基本类别。此外，本章综述了基本算法的有效扩展，主要是在环境中的反馈方式的不 同来加快学习，并在方式上，他们集中在有关部分的问题。对于基于模型的设置和模型无关 的设置，这些有效扩展已证明在扩展到更大的问题时很有用。 1.1　简介 马尔可夫决策过程（Markov Decision Processes ，MDP ）[Puterman ，1994] 是决策理论 规划 （Decision-Theoretic Planning ，DTP ）[Boutilier et al ，1999 ；Boutilier ，1999]、强化学 习（Reinforcement Learning ，RL ）[Bertsekas and Tsitsiklis ，1996 ；Sutton and Barto ，1998 ； 3 Kaelbling et al ，1996] 及随机域中的其他学习问题的一种直观和基本的构造模型。在这个模 型中，环境通过一组状态和动作进行建模，可以用来执行以控制系统的状态。通过这种方式 来控制系统的目的是最大化一个模型的性能标准。很多问题（例如随机规划问题、学习机器 人控制和玩游戏的问题）已成功地通过马尔可夫决策过程建模。事实上，马尔可夫决策过程 已经成为时序决策（Sequential Decision Making ，SDM ）事实上的标准方法。 决策理论规划 [Boutilier et al ，1999] （例如，使用决策理论的概念来表示不确定性和规 划的质量）是人工智能（AI ）规划范式的一个重要的扩展。这个扩展添加了处理动作效应的 不确定性的能力和处理没有清晰定义的目标函数的能力。此外，因为考虑了资源消耗和质量 变化时的不确定性需求，例如质量的变化可能发生在实时决策的场景中，决策理论规划显著 地增加了模型的维度。人工智能规划、运筹学 （operations research ）[Winston ，1991] 和控制 理论 （control theory ）[Bertsekas ，1995] 之间有着许多联系。例如，时序决策领域的许多工 作可以看成马尔可夫决策过程的实例。人工智能规划中规划的概念（即，从起始状态（start state ）到目标状态（goal state ）的一系列动作）已经扩展到策略的概念：基于决策理论对于 待优化的目标函数最优值 （optimality ）的计算，策略将所有的状态映射到一个最优的动作。 举例来说，考虑一个典型的规划领域的问题：以将一些特定的盒子放到一个指定的区域 为目标来移动这些盒子。这个问题可以通过人工智能规划的手段来解决。进而考虑一