结合类脑导航的强化学习无人机自主导航.pdfVIP

设计与应用计算机测量与控制.2024.32（7）

ComputerMeasurementControl225

024)07-0225-07DOl:10.16526/ki.11-4762/tp.2024.07.033中图分类号：TP181;V249文献标识码：A

文章编号：1671-4598（2024)07-0225-07

结合类脑导航的强化学习无人机自主导航

吴勇，彭

彭辉，熊峰钢

（成都信息工程大学软件工程学院，成都610228)

摘要：针对无人机自主导航常用的端到端强化学习方法存在训练效率低、泛化能力和通用性差等问题，引人了类脑导航模

型，基于长短时记忆（LSTM）神经网络构建了类脑细胞导航模型，通过整合编码无人机智能体的自运动信息，实现了网格细胞

和头朝向细胞的编码，进一步将这些信息作为深度强化学习算法D3QN的状态补充表示；通过在AirSim仿真环境的实验表明，

类脑导航模型的引人能够有效提高算法的训练能力和无人机智能体的导航性能，相较于原D3QN算法，首次目标固定情况下，到

达目标成功率提升了2.54%，达到了97.11%；而在目标改变后继续训练的情况下，到达目标成功率为99.45%，而D3QN仅为

11.46%，未能找到新的目标点；表明算法的泛化能力得到有效提升。

关键词：无人机；深度强化学习；类脑导航；D3QN；自主导航

ReinforcementLearningAlgorithmsCombinedwith

Brain-InspiredNavigation

WUYong,PENGHui,XIONGFengyue

(SchoolofSoftwareEngineering,ChengduUniversityofInformationTechnology,Chengdu610228,China)

Abstract:Inresponsetothelowtrainingefficiency,poorgeneralizationability,anduniversalityofwidelyusedend-to-endrein-

forcementlearningmethodsforautonomousnavigationofUAV,abrain-inspirednavigationmodelisintroduced.Basedonthelong

short-termmemory(LSTM)neuralnetwork,abrain-inspiredcellnavigationmodelisconstructed,theself-motioninformationofthe

UAVintelligentagentisintegratedtoencodegridcellsandheaddirectioncells,furthersupplementthisinformationasthestateofthe

deepreinforcementlearningalgorithmD3QN.TheexperimentsinAirSimsimulationenvironmentshowthattheintroductionofthe

brain-inspirednavigationmodelcaneffectivelyimprovethetrainingabilityofthealgorithmandthenavigationperformanceofthe

UAVintelligentagent.Com