应用于稀疏奖励问题的分层动作惯性强化学习算法研究.pdfVIP

摘要

摘要

强化学习是神经网络技术研究与应用的一个重要领域。强化学习算法主要被

用于序列决策和智能体控制任务。在机器人控制、游戏AI和围棋等许多领域中，

强化学习都得到了成功的应用。强化学习中的环境奖励对模型的训练起着关键的

作用。然而，在很多运行环境中，算法经常会遇到奖励过于稀疏的问题。缺乏有

意义的奖励信息会使模型难以高效地寻找到最优策略，这限制了部分场景中强化

学习算法的实际应用。因此，研究稀疏奖励问题和其解决办法，对强化学习算法

的应用具有重要作用。

本文从稀疏奖励问题的产生原因开始，分析了为解决稀疏奖励问题而衍生出

来的一系列强化学习算法。在不引入人类产生的专家数据的前提下，缓解稀疏奖

励问题的主要思路是鼓励模型探索、从失败经验中学习和任务分解。从这些思路

出发，本文做了如下研究工作：

首先，提出了基于动作序列交叉熵的强化学习算法。该方法将连续动作间的

惯性加入强化学习算法设计的考虑之中，使用动作序列间的交叉熵来控制智能体

的动作，以增加智能体动作的平滑程度，减少智能体的无规则运动，使其更接近

正常的运动体态。在控制人型仿真机器人的实验中，本文验证了该方法在降低智

能体抖动现象，鼓励智能体探索动作空间等方面的作用。

接着，提出了分层强化学习中的离线数据序列重构算法。该算法使用一种自

下而上的方式对分层模型的离线数据进行替换和重构。在控制四足机器人的仿真

实验中，本文验证了该算法在缓解分层强化中的离线误差问题、补充上层模型的

离线数据量和减少对训练资源的消耗等方面的作用。

最后，提出了分层动作惯性算法。该算法旨在缓解强化学习中的稀疏奖励问

题。还提出了对分层动作惯性算法进行网络复用的方法，以加快算法的分层结构

的训练速度，减少网络参数量。通过实验，本文验证了算法处理稀疏奖励问题的

能力，也验证了对算法进行网络复用的效果。

关键词：强化学习，稀疏奖励问题，机器人控制，分层强化

I

ABSTRACT

ABSTRACT

Reinforcementlearningisanimportantfieldofneuralnetwork’sresearchandappli-

cation.Reinforcementlearningalgorithmsaremainlyusedforsequentialdecisionmaking

andagentcontroltasks.Theyhavebeensuccessfullyappliedinmanyfieldssuchasrobot

control,gameAIandGo.Rewardplayakeyroleinmodeltraining.However,inmany

environments,algorithmsoftenencountertheproblemofsparserewards.Thelackof

meaningfulrewardwillmakeitdifficultforthemodeltoefficientlyfindtheoptimalpol-

icy,whichlimitsthepracticalapplicationofreinforcementlearningalgorithmsinsome

scenarios.Therefore,studyingthesparserewardproblemanditssolutionsplaysanim-

portantroleintheapplicationofreinforcementlearningalgorithms.

Thisthesisstartsfromthecausesofthesparserewardproblem,andanalyzesaseries

ofreinforcementlearningalgorithmsderivedtosolvethisproblem.Withoutintroducing

human-generatedexpertdata,t