基于Q学习的无人机航迹规划.docVIP

  基于 Q 学习的无人机航迹规划 毛治力，张宝昌，徐彬** （飞行器控制一体化技术重点实验室，自动化科学与电气工程学院， 5 10 15 20 25 30 35 40 北京航空航天大学，北京 100191） 摘要：本文使用 Q 学习算法来解决实时无人机航迹规划问题. 最优的航迹规划问题实际上是 根据几何问题对路线进行求解,Q 学习本质上来说是一种增强学习算法, 不仅能够充分利用 距离信息来计算基于几何距离信息的航迹, 同时也融合了复杂环境中的危险信息,从实用和 理论角度都很好的解决了无人机航迹规划问题. 最后通过分析几种不同的仿真结果, 表明该 方法的可行性及有效性. 关键词：无人机；航迹规划；Q 学习 中图分类号：TP181 Path Planning of UAV Based on Q-learning Mao Zhili, Zhang Baochang, Xu Bin （Science and Technology on Aircraft Control Laboratory, Department of Automatic Control, Beijing University of Aeronautics and Astronautics, Beijing 100191） Abstract: In this paper, we used a classic learning algorithm, the Q-Learning, and its application on the UAV (unmanned aircraft vehicles) planning problem. The route planning problem is considered as a geometric problem in this paper and is solved by Q-learning. Essentially the Geometric learning is a kind of reinforce learning methods and is able to utilize the distance and danger information from the map at the same time which can lead to a comprehensive solution to the planning problem. At the end of paper, some representative results are shown to prove Q-Learning’s effectiveness and feasibility. Keywords: UAV; path planning; Q-learning 0 引言 无人机在威胁区域内进行飞行活动时，路径规划的合理与否对于任务能否顺利完成起了 至关重要的作用．路径规划的任务要求既能保证无人机在任务执行过程中安全的抵达任务目 标，也需对该路径的经济性进行考虑．寻找两者之间合理的平衡点，是航迹规划算法的目标 之一． 在前人的工作中，文献[1]中提出的 Voronoi 图法与文献[2]中提出的可视图法，在地图信 息不完全、存在未知危险体与障碍物的实际情况下，不能顺利完成规划路径的任务，未对实 时性加以考虑．而在文献[3]中所提出 A2 D 算法属于实时性的算法，但仍存在不足：首先是在 危险区域的转弯角度过大，其次在局部复杂区域内不能找到有效的导航路径；另外需要额外 设计危险区域的逃离方案，才能顺利逃脱危险区域；文献[4]中的 BCV 算法虽然在算法的实 时性与全局的收敛性上做出了较多的思考，但是算法中对于安全性的考虑较少，贴近威胁域 边缘的飞行，并不能较好处理威胁与安全之间的关系．对于波动的环境，该算法的飞行器处 在的环境变化较大，安全系数大大下降．而本文中所提出的算法利用 Q 学习的加强型学习， 在全局中对威胁域和目标点进行考虑，做出的全局性决策，同时对安全性与经济性做出了综 合考虑． 作者简介：毛治力，（1990-），男，主要研究方向：机器学习，无人机航迹规划。 通信联系人：张宝昌，（1976-），男，副教授，硕士生导师，主要研究方向：机器学习，模式识别。 E-mail: bczhang@buaa.edu.cn -1-   1 基于 Q 学习的无人机路径规划算法 无人机所处的环境往往非常恶劣，这是因为它通常是低空作业．不仅容易受到来自地面 的攻击，还有高出地面的山体植物和人工的建筑物，若不及时避让，将会造成无人机坠落．硬 45 件的损毁与任务的失败都是不可估量的损失，应当极力避免．所以无人机在飞行过程中，既