离线数据驱动的深度强化学习算法研究.pdfVIP

摘要

摘要

近年来，强化学习因其在决策领域中的出色表现，逐渐成为人工智能领域的

研究热点。离线强化学习（offlinereinforcementlearning）作为一种限制智能体与

环境交互的强化学习方法，旨在利用由某行为策略收集的离线数据来训练智能体，

训练过程中智能体不会与环境进行任何额外交互。与在线强化学习相比，离线强

化学习提供了一种数据驱动且更为可控的方式，具有更大的应用潜力，因为它可

以避免实际交互中的安全风险，如数据泄漏，并且降低数据获取成本。

然而，离线强化学习无法在训练阶段与环境交互，这带来了显著的不确定性，

限制了其性能。因为在线强化学习可以通过探索来实时修正价值网络的估计准确

性，但在离线强化学习中，智能体任何在数据支撑集之外的探索都会对价值网络

的估计产生负面影响，这一现象称为离线强化学习中的外推误差。外推误差成为

离线强化学习方法性能提升的主要障碍，需要有效的方法来应对这一挑战。本文

通过验证外推误差的来源，引入反探索奖励机制来辅助离线强化学习智能体判别

分布外动作指导其在离线数据集支撑集范围内进行学习更新；此外还基于离线强

化学习场景的特点修改了随机网络蒸馏方法的输入层结构，使用双线性层技术增

强了网络对复杂输入信息的表征能力；本文通过使用集成式的随机网络蒸馏方法

建模反探索奖励，将传统的集成学习部分与强化学习算法训练解耦，在保持了和

传统集成方法表现基本一致的同时，大幅度减少了算法训练的内存占用和效率成

本。

本文将该奖励信号与双延迟深度确定性策略梯度算法结合，提出了ERND-

TD3算法（EnsembleRandomNetworkDistillation-TwinDelayedDeepDeterministic

PolicyGradientAlgorithm）。在Gym-Mujoco、Antmaze等流行基准离线强化学习数

据集上验证了ERND-TD3算法的效果，结果显示相比于传统方法具有显著的改进

和更好的性能稳定性。同时，通过详尽的消融实验，确保了反探索奖励信号和算

法整体设计的有效性和合理性，证明了本文方法的有效性和可行性，为解决离线

强化学习问题提供了新的方法和指导。

关键词：离线强化学习，反探索奖励，集成学习

I

ABSTRACT

ABSTRACT

Inrecentyears,reinforcementlearninghasemergedasaresearchhotspotinartificial

intelligenceduetoitsoutstandingperformanceindecision-makingtasks.Offlinerein-

forcementlearning,amethodthatrestrictsagent-environmentinteractions,aimstotrain

agentsusingofflinedatacollectedbyaspecificpolicy,withoutadditionalinteractionsdur-

ingtraining.Unlikeonlinereinforcementlearning,offlinereinforcementlearningoffersa

data-drivenandmorecontrolledapproach,withgreaterapplicationpotentialbyavoiding

safetyriskssuchasdataleakageandreducingdataacquisitioncosts.

However,theinabilitytointeractwiththeenvironmentduringtrainingintroducessig-

nificantuncertainty,limitingtheperformanceofofflinereinforcementlearning.Whileon-

linereinforcementlearningcanadjusttheaccura