一种基于条件生成对抗网络的强化学习数据增强方法.pdfVIP

总第416期计算机与数字工程Vol.52No.6

ComputerDigitalEngineering

2024年第6期计算机与数字工程1739

2024年第6期

一种基于条件生成对抗网络的强化学习数据增强

方法∗

112

项宇秦进袁琳琳

（1.贵州大学计算机科学与技术学院贵阳550025）（2.贵州开放大学信息工程学院贵阳550023）

摘要强化学习用于序列决策问题上取得的成功越来越受到人们的重视，但是当使用高维状态作为输入时，仍然存

在数据效率低下的问题。造成这个问题的原因之一是智能体难以从高维空间提取有效的特征。为了提高数据效率，论文提

出一种适用于强化学习任务的数据增强方法cGDA（cGANs-basedDataAugment），该方法用条件生成对抗网络（cGANs）对环

境的动态特性建模，以当前时刻的状态和动作作为条件生成模型的输入，输出下一时刻的状态作为增强数据。训练过程中

使用真实数据和增强数据同时训练智能体，有效地帮助智能体从不同的数据中快速提取到有用的知识。在Atari100K基准

上，cGDA在26个离散控制问题环境中与采用数据增强的方法比较，在16个环境中获得了更高的性能；与未采用数据增强的

方法比较，在14个环境中获得了更高的性能。

关键词强化学习；数据增强；数据效率；条件生成对抗网络；雅达利游戏

中图分类号TP181DOI：10.3969/j.issn.1672-9722.2024.06.025

AReinforcementLearningDataAugmentationMethodBasedon

ConditionalGenerativeAdversarialNetworks

112

XIANGYuQINJinYUANLinlin

（1.CollegeofComputerScienceTechnology，GuizhouUniversity，Guiyang550025）

（2.CollegeofInformationEngineering，GuizhouOpenUniversity，Guiyang550023）

AbstractMoreandmoreattentionhasbeenpaidtothesuccessofreinforcementlearninginsequentialdecisionmaking，but

thereisstillaproblemoflowdataefficiencywhenusinghigh-dimensionalstateasinput.Oneofthereasonsforthisproblemisthat

itisdifficultforanagenttoextracteffectivefeaturesfromahigh-dimensionalspace.Inordertoimprovedataefficiency，thispaper

proposesadataaugmentationmethodcGDA（cGANs-basedDataAugment）suitableforreinforcementlearningtask.Conditional

generativeadversarialnets（cGANs）isusedtomodelthedynamiccharacteristicsoftheenvironment，withthestateandactionat

thecurren