《人工智能控制技术》 课件 chap4-深度强化学习.pptx

《人工智能控制技术》深度强化学习

深度强化学习概述深度学习和强化学习是目前机器学习领域内比较热门的两个分支，深度学习是通过堆叠多层网络结构和非线性变换方法，组合低层特征，实现对输入数据的分级表达；强化学习不是通过直接监督信号指导智能体的动作，而是智能体通过不断试错与环境进行交互从而最大化的获得奖励回报。深度强化学习是将两者结合，利用深度学习的感知和强化学习的决策，初步形成从输入原始数据到输出动作控制的完整智能系统。

深度强化学习概述近年来，深度学习作为机器学习的一个重要研究领城，得到了长足的发展，为强化学习提供了强有力的支撑，使强化学习能够解决以前难以处理的问题，例如学习直接从像素玩视频游戏等。深度强化学习是深度学习和强化学习相结合的产物，有望彻底改变人工智能领域的主要目标即生成完全自主的智能体，这些智能体通过与环境的相互作用来学习最优行为。

深度强化学习概述一直以来，从可以感知和响应其所处环境的机器人到基于软件与自然语言和多媒体进行交互的智能体，建立一个能够有效学习且实时响应的人工智能系统是人工智能研究的重要方向，深度强化学习的出现使我们向这样的目标迈出了更近的一步。深度强化学习算法还有许多其他方面的应用，比如机器人控制技术，允许我们直接从现实世界中的摄像机输人来学习对机器人进行控制和操作的策略等。

深度强化学习发展历程早期的深度学习与强化学习结合解决决策问题，主要思路是利用深度神经网络对高维度输入数据降维。兰格（Lange）将深度学习中的自动编码器模型应用于强化学习算法中，提出深度自动编码器（DAE）。里德米勒（Riedmiller）使用多层感知器近似表示Q值函数，并提出神经拟合Q迭代算法（NFQ）。阿布塔西（Abtahi）用深度信念网络（DBN）作为强化学习的函数逼近器。兰格（Lange）提出了基于视觉感知的深度拟合Q学习算法（DFQ）。

深度强化学习发展历程DeepMind团队的杰出工作让深度强化学习称为人工智能领域研究热点。明（Mnih）等将深度学习中的卷积神经网络模型和强化学习中的Q学习算法结合，提出了深度Q网（DQN）。DeepMind团队，将卷积神经网络、策略梯度和蒙特卡洛树搜索相结合开发出了AlphaGo围棋算法。哈塞尔特（Hasselt）把双重Q学习算法与深度神经网络结合，提出了双重深度Q网络（DDQN）。绍尔（Schaul）把优先级采用与深度强化学习结合，提出了基于优先级采样的深度强化学习算法。

深度强化学习发展历程马哈德万（Lakshminarayanan）将动态跳帧法与深度Q网络结合，提出了一种基于跳帧的深度Q网络算法。霍克赖特（Hochreiter）和施米德胡贝（Schmidhuber）提出一种长短期记忆网络（LSTM）。和蔡（Cho）等提出的门限循环神经单元（GRU）。纳拉辛汉（Narasimhan）等提出了一种深度循环Q网络（DRQN）在文本游戏类表现出色。豪斯克希特（Hausknecht）为了解决部分可观测的马尔可夫决策过程（POMDP）问题，提出了基于循环神经网络的深度循环Q学习算法，

深度强化学习发展历程由于深度强化学习处理的数据维数较高以及需要的迭代次数较多来获取最优解，所以需要大量训练时间。学者们提出的异步深度强化学习（ADRL）和基于经验重放机制的行动者-评论家（ACER）方法可以以更少的时间代价获得更高的效率、稳定性和更优的性能，在实际应用中也取得了更好的表现。

深度强化学习基本学习思想深度强化学习是一种端对端的感知与控制系统，具有很强的通用性，学习过程可以描述为：在每个时刻智能体与环境交互实现高维观察，利用深度学习方法感知观察，得到抽象具体的状态特征表示；根据预期回报评价各种动作的价值函数，通过某种策略将当前状态映射为相应的动作；环境对此动作做出反应，并得到下一个观察。依次循环，直到得到最优策略，深度强化学习原理如图所示。深度强化学习原理框图

深度强化学习基本学习思想深度强化学习方法主要有两类：一类是基于值函数的深度强化学习方法，另一类时基于策略梯度的深度强化学习方法。典型的基于值函数法的深度强化学习方法是深度Q网络算法（DQN）和双重深度Q网络算法（DDQN）。通过状态-动作的值函数和回报评价动作。基于值函数的深度强化学习方法主要问题是难以处理连续动作的问题，而基于策略梯度强化学习方法则可以处理连续动作问题。基于策略梯度深度强化学习法通过在策略空间中直接搜索最优策略，不仅能够处理连续动作空间任务，还适合处理大规模状态动作空间任务。采用策略梯度深度强化学习算法往往会导致一个高方差的估计器，为了平衡策略梯度法中梯度项的方差与偏差，广义优势估计法（GAE）、置信区间策略优化法（TRPO）等不断被提出，取得了不错的效果。

深度强化学习基本学习思想深度强化学习算法由于能够基于深度神经网络