第15章深度强化学习.PDFVIP

第 章 深度强化学习 除了试图直接去建立一个可以模拟成人大脑的程序之外， 为什么不试图建立一个可以模拟小孩大脑的程序呢？如果它接 受适当的教育，就会获得成人的大脑。 阿兰 图灵 在之前的章节中，我们主要关注于监督学习，而监督学习一般需要一定数 量的带标签的数据。在很多的应用场景中，通过人工标注的方式来给数据打标 签的方式往往行不通。比如我们通过监督学习来训练一个模型可以来自动下围 棋，就需要将当前棋盘的状态作为输入数据，其对应的最佳落子位置（动作）作 为标签。训练一个好的模型就需要收集大量的不同棋盘状态以及对应动作。这 种做法实践起来比较困难，一是对于每一种棋盘状态，即使是专家也很难给出 “正确”的动作，二是获取大量数据的成本往往比较高。对于下棋这类任务，虽 然我们很难知道每一步的“正确”动作，但是其最后的结果（即赢输）却很容 易判断。因此，如果可以通过大量的模拟数据，通过最后的结果（奖励）来倒 推每一步棋的好坏，从而学习出“最佳”的下棋策略，这就是强化学习。 强化学习 （ ， ），也叫增强学习，是指一类从（与 环境）交互中不断学习的问题以及解决这类问题的方法。强化学习问题可以描 述为一个智能体从与环境的交互中不断学习以完成特定目标（比如取得最大奖 励值）。和深度学习类似，强化学习中的关键问题也是贡献度分配问题 ，每一个动作并不能直接得到监督信息，需要通过整个模型的最终监督信 息（奖励）得到，并且有一定的延时性。 贡献度分配问题即一 个系统中不同的组件 强化学习也是机器学习中的一个重要分支。强化学习和监督学习的不同在 （）对最终系 于，强化学习问题不需要给出“正确”策略作为监督信息，只需要给出策略的 统输出结果的贡献或影 响。 年 月 日 第 章 深度强化学习 （延迟）回报，并通过调整策略来取得最大化的期望回报。 强化学习问题 强化学习广泛应用在很多领域，比如电子游戏、棋类游戏、迷宫类游戏、控 制系统、推荐等。这里我们介绍几个比较典型的强化学习例子。 典型例子 多臂赌博机问题 给定 个赌博机，拉动每个赌博机的拉杆（ ），赌博机会 按照一个事先设定的概率掉出一块钱或不掉钱。每个赌博机掉钱的概率不一样。 多臂赌博机问题 （ ）是指，给定有限的机会次数 ， 也称为 臂赌博机问题 如何玩这些赌博机才能使得期望累积收益最大化。多臂赌博机问题在广告推荐、 （ 投资组合等领域有着非常重要的应用。 ）。 悬崖行走问题 在一个网格世界（ ）中，每个格子表示一个状态。如所 示的一个网格世界，每个状态为 ，其中格子 到 是悬崖 （ ）。有一个醉汉，从左下角的开始位置 ，走到右下角的目标 位置 。如果走到悬崖，醉汉会跌落悬崖并死去。醉汉可以选择行走的路线，即 在每个状态时，选择行走的方向：上下左右。动作空间 。但每 走一步，都有一定的概率滑落到周围其他的格子。醉汉的目标是如何安全地到 达目标位置。 3 2