一种进化梯度引导的强化学习算法.pdfVIP

第45卷第1期南京邮电大学学报（自然科学版）Vol.45No.1

2025年2月JournalofNanjingUniversityofPostsandTelecommunication(NaturalScienceEdition)Feb.2025

doi：10.14132/ki.1673-5439.2025.01.011

一种进化梯度引导的强化学习算法

许斌，练元洪，卞鸿根，刘丹，亓晋

（南京邮电大学物联网学院，江苏南京210003）

摘要：进化算法（EvolutionaryAlgorithm，EA）和深度强化学习（DeepReinforcementLearning，DRL）

的组合被认为能够结合二者的优点，即EA的强大随机搜索能力和DRL的样本效率，实现更好的策

略学习。然而，现有的组合方法存在EA引入所导致的策略性能不可预测性问题。提出自适应历

史梯度引导机制，其利用历史梯度信息，找到平衡探索和利用的线索，从而获得较为稳定的高质量

策略，进一步将此机制融合经典的进化强化学习算法，提出一种进化梯度引导的强化学习算法

（EvolutionaryGradientGuidedReinforcementLearning，EGG⁃RL）。在连续控制任务方面的实验表

明，EGG⁃RL的性能表现优于其他方法。

关键词：CEM⁃RL；深度强化学习；进化算法；历史梯度

中图分类号：TP181文献标识码：A文章编号：1673⁃5439（2025）01⁃0099⁃07

Reinforcementlearningalgorithmguidedby

evolutionarygradient

XUBin，LIANYuanhong，BIANHonggen，LIUDan，QIJin

(SchoolofInternetofThings,NanjingUniversityofPostsandTelecommunications,Nanjing210003,China)

Abstract：Thecombinationofevolutionaryalgorithms（EAs）anddeepreinforcementlearning（DRL）is

consideredtobeabletocombinetheadvantagesofboth，namelythestrongthestrongrandomsearchability

ofEAandthesampleefficiencyofDRL，totoachievebetterstrategylearning.However，theexistingcombi⁃

nationmethodshavetheproblemofunpredictabilityofpolicyperformancecausedbytheintroductionof

EA.Anadaptivehistoricalgradientguidancemechanismisproposed.Ituseshistoricalgradientinformation

tofindcluestobalanceexplorationandutilization，soastoobtainamorestablehigh-qualitystrategy.Fur⁃

ther，thismechanism