人工智能控制技术 第8章 无人机路径规划案例.ppt

“”《人工智能控制技术》无人机三维最优路径规划实例无人机路径规划简介无人机的应用越来越广泛,在多个场合都有所应用,比如战场上可以侦查甚至攻击，抢险救灾中可以察看灾情情况，农业上可以作为喷洒农药、检察作物生长等等，如果提高无人机的智能性，让其自动完成一些人物，就需要用到路径规划的问题。路径规划是智能控制中的一个重要组成部分，是动态规划的重要应用。随着无人机系统的功能越来越强大，其操纵越来越复杂，而现代飞行任务的难度及强度也在不断增加，良好的三维路径规划成为提高无人机系统任务完成质量和生存概率的重要途径之一。无人机路径规划简介路径规划的算法有许多种，其中强化学习算法是非常有效的路径规划算法，所需要的的前提条件少，智能性高，规划效果好。基于强化学习的路径规划方法不仅具有与随机线路图法相似的在规划时间和航迹质量之间进行折中的能力，而且其本身具有一定的鲁棒性和对动态环境的适应能力。目前，强化学习方法已经在智能机器人导航、路径规划和运动控制领域取得了许多成功的应用。无人机路径规划简介本章以无人机为例，采用Q-Learning算法实现三维路径规划，规划目标为：1．通过C++编写一段程序，采用Q-learning算法实现无人机的智能三维路径规划。2．定义无人机类，包含飞行半径、最大平飞速度、最小平飞速度、垂直飞行速度、最大飞行高度、最小飞行高度、最大飞行过载等属性。3．定义仿真环境中两种环境类，自然环境与静态障碍物，其中自然环境类包括地形、风速、风向、温度、光照等属性，障碍物包括位置、大小、轮廓顶点、移动速度、移动路线等属性。定义多种相关的环境类时，使用继承与多态的方法。4．通过算法和代码实现无人机自动分辨最佳路线，要求避开障碍物，并根据具体环境分析出适合的路线，最后找出一条最佳路线完成目标，即到达终点。无人机路径规划Q-LEARNING算法原理无人机的三维路径规划是在综合考虑无人机的飞行时间、燃料消耗、外界威胁等因素的前提下，为无人机规划出一条最优或者是最满意的三维飞行航迹，以保证飞行任务的圆满完成。无人机通过Agent与环境交互，获得航迹过程的本质是马尔可夫决策过程（Markovdecisionprocess，MDP），无人机的下一个空间状态只与当前的状态信息有关，与之前的信息状态无关，即无人机航迹规划的过程具有马尔可夫性。无人机路径规划Q-LEARNING算法原理马尔可夫决策过程（Markovdecisionprocess，MDP），MDP由＜S，A，P，R，γ＞五个元素构成：1．S表示空间状态的集合，s∈S，st表示t时刻的空间状态；2．A表示动作策略的集合，a∈A，at表示t时刻的动作策略；3．P表示状态转移概率，表示当前状态s下，经过动作策略a后，状态变为s的概率；4．R表示环境根据智能体的状态与动作，给予智能体的奖励，是奖励取值的集合；5．γ为“折扣”，表示后续策略对当前状态的影响，γ为0表示只关心当前奖励，γ越大表示对未来奖励越看重。无人机路径规划Q-LEARNING算法原理无人机路径规划Q-LEARNING算法原理基于Q-Learning学习的无人机路径规划方法是基于强化学习的路径规划领域最重要的方法之一，仍然是基于预先定义的代价函数生成一条具有最小代价的航迹。其规划过程中没有考虑诸如无人机的最大爬升、下降率和最小转弯半径等航迹约束条件，使其存在2个重要的缺点：1．算法获得的最小代价航迹不一定满足实际要求，甚至对无人机来说根本无法飞行实施；2．算法的规划空间离散化过程缺少依据，往往采用较小的离散化步长以保证离散化过程的合理性，这使得最终离散规划问题具有很大的搜索空间，因此其只适用于二维平面内的航迹规划问题。当这类算法在无人机路径规划问题中应用时，由于其无法充分利用无人机的三维飞行能力，故其规划获得的航迹从根本上说就是次优航迹。无人机路径规划Q-LEARNING算法原理本文无人机最优路径规划在现有的基于Q-Learning学习的航迹规划算法的基础上，设计出一种能够有效完成无人机三维航迹规划任务的路径规划方法。该方法利用无人机的航迹约束条件指导规划空间离散化，不仅减小了最终离散规划问题的规模，也在一定程度上提高规划获得的优化航迹的可用性。无人机三维路径规划实现过程无人机整个路径规划实现的流程无人机最优路径规划流程基于Q-LEARNING的三维模型创建要实现基于Q-learing的无人机智能航线规划，需建立回报奖励地图，本章采用对空间进行栅格化，将模拟的现实空间栅格化为M*M*M的三维数组模型，对数组中每一栅格进行赋值处理，赋上用环境回报函数所求得的回报奖励，完成对现实空