结合元学习和安全区域探索的进化强化学习方法.pdfVIP

ComputerEngineeringandApplications计算机工程与应用2025，61（1）361

结合元学习和安全区域探索的进化强化学习方法

1，21，21，2+3

李晓益，胡滨，秦进，彭安浪

1.贵州大学计算机科学与技术学院公共大数据国家重点实验室，贵阳550025

2.贵州大学计算机科学与技术学院，贵阳550025

3.贵州兆信数码技术有限公司，贵阳550025

+通信作者E-mail：jqin1@gzu.edu.cn

摘要：最近提出的进化强化学习(evolutionaryreinforcementlearning，ERL)框架表明了利用进化算法提高强化学

习的探索能力对性能提升的好处。然而，现有的基于ERL的方法并没有完全解决进化算法中突变的可伸缩性问题

且由于进化算法本身的限制使得ERL解决问题的速度较为缓慢。为了使算法每一步的探索都被限制在安全区域中

且能在较短的时间内收敛，运用元学习的思想，预训练一个初始的种群，这个种群只需要经过几次进化就能得到任

务中不错的效果。将预训练过后的种群用于处理任务，在此过程中，利用敏感度调整种群突变的范围，限制种群在

安全区域内进行突变，确保种群的突变不会带来无法预料的后果。该方法在来自OpenAIgym中的五种机器人运动

中进行了评估。最终在所有测试的环境中，该方法在以ERL、CEM-RL以及两种最先进的RL算法、PPO和TD3为基

线的比较中，取得了具有竞争性的效果。

关键词：进化强化学习；元学习；预训练；安全区域；突变算子

文献标志码：A中图分类号：TP181doi：10.3778/j.issn.1002-8331.2308-0342

EvolutionaryReinforcementLearningCombiningMeta-LearningandSafeRegionExploration

LIXiaoyi1，2,HUBin1，2,QINJin1，2+,PENGAnlang3

1.StateKeyLaboratoryofPublicBigData,CollegeofComputerScienceandTechnology,GuizhouUniversity,Guiyang

550025,China

2.CollegeofComputerScienceandTechnology,GuizhouUniversity,Guiyang550025,China

3.GuizhouZhaoxinDigitalTechnologyCo.,Ltd.,Guiyang550025,China

Abstract：Therecentlyproposedframeworkofevolutionaryreinforcementlearning(ERL)hasdemonstratedthebenefits

ofimprovingtheexplorationabilityofevolutionaryalgorithminreinforcementlearningforperformanceimprovement.

However,theexistingERL-basedmethodsdonotfullysolvethescalabilityproblemofmutationinevolutionaryalgorithms,

andthespeedofERLtosolvetheproblemisslowduetothelimitationsofevolutionaryalgorithms.Inordertomake

theexplorationofeachstepofthealgorithmberestrictedinthesafeareaandconvergeinashorttime,theideaofmeta-