基于q学习的无人机航迹规划-中国科技论文在线.pdfVIP

中国科技论文在线 基于Q 学习的无人机航迹规划 毛治力，张宝昌，徐彬** （北京航空航天大学自动化科学及电气工程学院，北京100191） 5 摘要：本文使用Q 学习算法来解决实时无人机航迹规划问题. 最优的航迹规划问题实际上是 根据几何问题对路线进行求解,Q 学习本质上来说是一种增强学习算法, 不仅能够充分利用 距离信息来计算基于几何距离信息的航迹, 同时也融合了复杂环境中的危险信息,从实用和 理论角度都很好的解决了无人机航迹规划问题. 最后通过分析几种不同的仿真结果, 表明该 10 方法的可行性及有效性. 关键词：无人机,航迹规划,Q 学习 中图分类号：TP181 Path Planning of UAV Based on Q-learning 15 Mao Zhili, Zhang Baochang, Xu Bin (Department of Automatic Control, Beijing University of Aeronautics and Astronautics, Beijing 100191) Abstract: In this paper, we used a classic learning algorithm, the Q-Learning, and its application on the UAV (unmanned aircraft vehicles) planning problem. The route planning problem is 20 considered as a geometric problem in this paper and is solved by Q-learning. Essentially the Geometric learning is a kind of reinforce learning methods and is able to utilize the distance and danger information from the map at the same time which can lead to a comprehensive solution to the planning problem. At the end of paper, some representative results are shown to prove Q-Learning’s effectiveness and feasibility. 25 Key words: UAV, path planning, Q-learning 0 引言 无人机在威胁区域内进行飞行活动时，路径规划的合理与否对于任务能否顺利完成起了 至关重要的作用．路径规划的任务要求既能保证无人机在任务执行过程中安全的抵达任务目 30 标，也需对该路径的经济性进行考虑．寻找两者之间合理的平衡点，是航迹规划算法的目标 之一． [1] [2] 在前人的工作中，文献 中提出的Voronoi 图法与文献 中提出的可视图法，在地图信 息不完全、存在未知危险体与障碍物的实际情况下，不能顺利完成规划路径的任务，未对实 [3] 时性加以考虑．而在文献 中所提出 算法属于实时性的算法，但仍存在不足：首先是在