2025《最大熵强化学习基础理论概述》4200字.docVIP

-PAGE53-

最大熵强化学习基础理论概述

目录

TOC\o1-3\h\u6423最大熵强化学习基础理论概述 1

318241.1引论 1

270311.2标准强化学习框架和概率图模型 1

281861.3最大熵强化学习理论框架 2

20401.3.1最大熵强化学习概率图模型 2

242811.3.2概率推断 4

237321.3.3最大熵强化学习目标函数与最优策略 7

194161.4小结 11

1.1引论

机器人强化学习领域近些年受到越来越广泛的关注，其原因为以下两点：1)机器人系统内部本身存在的摩擦力和噪声等因素提高了传统控制方法的控制难度，增加了传统控制方法的局限性；2)深度强化学习方法是一种基于“经验”的控制方法，其避免了机器人系统复杂的动力学建模和设计，在无需知道机器人系统任何先验知识的情况下，凭借机器人智能体与外界环境不断地交互而学得有关外部环境的知识，直到学到最优的控制策略。系统和任务越复杂，深度强化学习方法就越适用，例如空间连续型机械臂。最大熵强化学习方法由于其样本效率高以及最大熵策略探索能力好，在不需要进行任何的额外操作和人工干预下，已经被广泛用于传统刚性机械臂任务。因此，本文研究的是在最大熵强化学习框架下的连续型机械臂控制任务。

1.2标准强化学习框架和概率图模型

在标准最优控制和深度强化学习框架下，通常用表示状态，表示动作，状态和动作都可能是连续或离散的；表示转移概率模型，其一般都是未知的，状态通常是跟着转移概率模型改变；表示一个片段（episode）的训练步长，表示每当训练完时间步长之后，环境就会重置并重新开始训练时间步长；是折扣因子，表示越是未来的状态和动作产生的奖励对当前的累计回报影响越小。表示智能体在状态，策略参数向量为下选择动作时，从外界中得到的立即奖励。图1.1为标准强化学习框架的概率图模型，该模型能清晰地描述状态、动作、策略分布、转移概率分布和下一个状态两两之间的关系。

图STYLEREF1\s2.SEQ图\*ARABIC\s11标准强化学习概率图模型

根据图1.1的马尔可夫决策过程的概率图模型，可以求出在当前策略下的轨迹分布，表示当前策略下的轨迹。

（2-1）

因此，标准强化学习可以变为以下优化问题：

（2-2）

其中，表示在策略下状态动作对的概率分布。该优化问题的目标是找到一组最优参数向量使得在当前策略下的预期累积回报最大，若以深度神经网络来表示策略分布，该参数向量为深度神经网络的一组权重和偏差参数。

1.3最大熵强化学习理论框架

1.3.1最大熵强化学习概率图模型

人们的行为总是随机的，不同的人做某个相同任务可能有不同的解决方法，即使相同的人做同一个任务多次时也能表现出不同的行为，这体现出人类的“智能”。当我们在做某个任务时，不同人表现出不同的行为，有些人能很快地做完这个任务，而有些人在中间可能走了很多“弯路”才完成这个任务，这种“弯路”被传统强化学习算法认定为“错误”。但往往现实生活中这种“错误”是必须的，人们通常只关注是否完成任务，而很少关注是否以最优最快的方式完成某个任务，这些“错误”最终都能完成目标，证明它们都是“好”的，而非最优的。最优行为通常只有一种，而这种“好”行为可能有几十或几百种，能大大增加任务的完成率。人类智能体很多时候也只能表现出这种“好”行为，而不都是最优行为，这种情况随着任务越复杂出现的频率越高，因为任务越复杂，越难发现完成任务的最优行为。而最大熵强化学习的目标就是找出这种“更智能”的控制策略，该策略是随机策略，具有表示所有“好”行为的能力，但它表示出最优行为的可能性最大。

为此，最大熵强化学习框架引入了一个最优性变量的概念，该变量是一个二值变量，表示当前的行为是否是“好”行为。当时，表示在时刻智能体在尝试完成目标，其行为是最优或次优行为；反之当时，表示在当前时刻智能体没有尝试完成任务，其在做一些无用甚至影响训练过程的行为。最大熵强化学习的概率图模型如图1.2所示。

图STYLEREF1\s2.SEQ图\*ARABIC\s12最大熵强化学习的概率图模型

与标准强化学习一样，首先求出最大熵强化学习框架下的轨迹分布，该分布表示所有“好”轨迹的概率分布，此时我们不关心标准强化学习框架下的轨迹分布。为了更好地求出，本文引入了一个假设：

（2-3）

该假设表示当前状态和当前动作是“好”的概率，它与立即奖励的指数形式成正比。这个假设是合理的，因为立即奖励一般都为负，如果有时候奖励为正，则指数的括号里会多减去一项最大的奖励，这也能使得指数括号里总为负。根据式2-3，我们将进行以下变形：

（2-4）

表