深度强化学习方法.pdfVIP

深度强化学习

深度强化学习(DRL)已成为人工智能研究的热点之一。它已被广泛应用于端

到端控制、机器人控制、推荐系统、自然语言对话系统等各个领域。本文对深度

RL算法及其应用进行了分类，并将现有的DRL算法分为基于模型的方法、无模

型的方法和先进RL方法进行介绍。

一、无模型强化学习

DRL的发展仍处于起步阶段。学术研究集中在确定性和静态环境中，状态主

要是离散的和充分观察。因此，大多数RL工作都是基于无模型方法的。无模型

RL可以通过大量样本估计agent的状态、价值函数和奖励函数，从而优化以在s

状态下做a动作获得更多奖励为目标的行为策略。由于其实现简单，开放资源丰

富，无模型RL吸引了越来越多的学者进行深入的研究。

1.基于值函数的RL

1.1深度Q-网络深度Q-网络(DQN)(Mnihetal.，2013,2015)是DRL的

典型代表，它使用卷积神经网络(CNN)(Krizhevskyetal.，2012)作为模型，

并使用Q-learning的变体进行训练(Kröse,1995)。DQN使用最大Q值作为低维

动作输出，解决高维状态输入(如游戏画面的原始像素)的令人困惑的表示。

此外，DQN将奖励值和误差项减小到一个有限的区间，从而减轻了非线性网络所

代表的值函数的不稳定性。与Q-learning算法不同的是，DQN将学习过程与训

练过程同步，主要改进如下:(1)使用经验重放缓冲区(Lin,1992)来减少样本之

间的关联;(2)深度神经网络——目标网络——用于行为-价值函数逼近。

1.2DQN的发展随着DQN算法的成功，提出了大量的改进算法。在这一小节

中，我们主要关注与系统的整体结构、训练样本的构建和神经网络的结构相关的

代表性方法。

双深度Q-网络(DoubledeepQ-network,DDQN)(vanHasseltetal.，2016)

通过自举行为的解耦选择和评估，降低了Q-learning过高估计偏差的风险。因

为经验转换从经验回放中统一均匀采集，DQN显然没有充分考虑每个样本的重要

性。改进的经验重演机制DDQN(Schauletal.，2016)通过计算经验池中每个

样本的优先级，增加有价值训练样本的概率来解决这一问题。

2.基于策略梯度的RL

强化(Williams,1992)是策略梯度(PG)算法的原型。与基于值的RL相比，

基于策略的RL不仅避免了由于值函数误差引起的策略退化，而且更容易应用于

连续动作空间问题。具体来说，基于值的方法，如Q-learning和SARSA，需要

一步操作才能计算出最大值，这在连续空间或高维空间中是很难找到的。此外，

基于值的方法可以学习隐式策略，而基于策略的RL方法可以学习随机策略。也

就是说，在基于价值的方法中，通过政策改进得到的政策都是确定性的政策，会

遇到一些在石头剪刀布等任务中无法解决的问题。基于策略的方法也有一些共同

的缺点:(1)数据效率或样本利用率低;(2)方差较大，难以收敛。两个典型的改

进:(1)基于演员评论(actor-critic)的改进框架;(2)基于信任域的改进方法。

二、基于模型的强化学习

事实上，知道转移动力学p(st+1|st,at)会使问题解决变得更容易，这种动

力学被称为模型。基于模型的方法是学习转换动力学的算法，它决定了在当前状

态st执行动作at下一个状态将会是st+1在当前状态，接着方法将找出如何选

择动作。简而言之，这种算法学习系统动力学模型，并使用最优控制选择动作。

基于模型的RL是从最优控制领域发展而来的。通常，具体问题通过模型如高斯

过程和贝叶斯网络建立，然后通过机器学习方法或最优控制方法解决，如模型预

测控制(MPC)，线性二次调节器(LQR)，线性二次高斯控制。与无模型的RL相比，

基于模型的RL以数据高效的方式学习