一种改进强化学习算法的路径规划方法.pdfVIP

第35卷摇第2期计算机技术与发展Vol.35摇No.2

2025年2月摇摇摇摇摇摇摇摇摇摇COMPUTERTECHNOLOGYANDDEVELOPMENT摇摇摇摇摇摇摇摇摇摇Feb.摇2025

一种改进强化学习算法的路径规划方法

12

陈摇松,沈苏彬

(1.南京邮电大学计算机学院,江苏南京210023;

2.南京邮电大学通信与网络技术国家工程研究中心,江苏南京210003)

摘摇要:提升Q学习(Q-learning)算法在复杂环境中的数据效率与决策准确度,无疑是算法性能优化所面临的关键挑战。

将因果模型引入Q学习算法,通过揭示变量间的因果关系,从而提高Q学习算法的性能是新兴且热门的研究方向。该文

提出一种基于因果模型的Q学习算法,C-Q学习(Causal-modelbasedQ-learning)算法。该算法包括基于智能体利用Q

学习算法与环境交互过程中关键变量之间的因果关系,构建结构因果模型;采用因果推断理论中的后门调整的方法去除

模型中影响奖励的混淆因子所引起的混淆效应,评估了更为准确的Q值,并且精准识别出每个状态下可能获得最高奖励

的动作,优化Q学习算法的动作选择过程。最后,将Q学习算法、Eva-Q学习算法、C-Q学习算法在栅格环境中进行仿真

实验。仿真实验结果表明,C-Q学习算法在路径长度、规划时间、数据效率和决策准确度等多个指标上均优于其余两种

算法。

关键词:Q学习算法;因果模型;因果推断;混淆因子;后门调整

中图分类号:TP301.6摇摇摇摇摇摇摇文献标识码:A摇摇摇摇摇摇文章编号:1673-629X(2025)02-0115-07

doi:10.20165/j.cnki.ISSN1673-629X.2024.0308

APathPlanningMethodBasedonImprovedReinforcement

LearningAlgorithm

12

CHENSong,SHENSu-bin

(1.SchoolofComputerScience,NanjingUniversityofPostsandTelecommunications,Nanjing210023,China;

2.NationalEngineeringResearchCenteronCommunicationandNetworking,NanjingUniversityof

PostsandTelecommunications,Nanjing210003,China)

Abstract:ImprovingthedataefficiencyanddecisionaccuracyofQ-learningalgorithmsincomplexenvironmentsisundoubtedlyakey

challengeforalgorithmperformanceoptimization.IntroducingcausalmodelintoQ-learningalgorithmsandimprovingtheperformance

ofQ-learningalgori