一种基于混合样本的经验回放策略.pdfVIP

计 算 机 与 现 代 化 2023年第6期 JISUANJI YU XIANDAIHUA 总第334期 文章编号：1006-2475（2023）06-0033-06 一种基于混合样本的经验回放策略 赖建彬，冯 刚 （华南师范大学计算机学院，广东 广州 510635） 摘要：经验回放策略已经成为深度强化学习算法的一个重要组成部分，它不仅可以加速深度强化学习算法收敛，而且还 能加强智能体的表现。主流的经验回放策略使用均匀抽样、优先经验回放、专家经验回放等方法加速学习。为了进一步 提高深度强化学习中经验样本的利用率，本文提出一种基于混合样本的经验回放策略（ER-MS）。该策略主要使用立即 学习最新经验和复习成功经验2种方法，对智能体与环境交互产生的最新样本进行立即学习，同时使用额外的经验缓存 池保存成功回合样本进行经验回放。实验表明，基于混合样本的经验回放策略结合DDPG算法能够在OpenAI mujoco任 务中取得更优成绩。 关键词：经验回放；深度强化学习；专家经验 中图分类号：TP301.6 文献标志码：A DOI：10.3969/j.issn.1006-2475.2023.06.006 AnExperienceReplayStrategyBasedonMixedSamples LAIJian-bin，FENGGang （SchoolofComputerScience，SouthChinaNormalUniversity，Guangzhou510635，China） Abstract：Experiencereplaystrategyhasbecomeanimportantpartofdeepreinforcementlearningalgorithm.Itcannotonlyac⁃ celeratetheconvergenceofdeepreinforcementlearningalgorithm，butalsoenhancetheperformanceofagents.Mainstreamexpe⁃ riencereplaystrategiesuseuniformsampling，priorityexperiencereplay，expertexperiencereplayandothermethodstoacceler⁃ atelearning.Inordertofurtherimprovetheutilizationofexperiencesamplesindeepreinforcementlearning，thispaperproposes anexperiencereplaystrategybasedonmixedsamples （ER-MS）.Thisstrategymainlyusestwomethods：immediatelearningof thelatestexperienceandreviewofsuccessfulexperience.Itimmediatelylearnsthelatestsamplesgeneratedbytheinteractionbe⁃ tweentheagentandtheenvironment，andusesanadditionalexperiencebufferpooltosavethesamplesofsuccessfulroundsfor experiencereplay.ExperimentsshowthattheexperiencereplaystrategybasedonmixedsamplescombinedwithDDPGalgorithm canachievebetterresultsinOpenAImujocotask. Keywords：experiencereplay；deepreinforcementlearning；expertexperience