煤矿井下基于Ｑ－ｌｅａｒｎｉｎｇ算法的移动机器人路径规划.docVIP

煤矿井下基于Ｑ－ｌｅａｒｎｉｎｇ算法的移动机器人路径规划 　　摘 要：机器人的路径规划一直是机器人研究领域的难点问题。针对煤矿井下环境的不确定性，环境的复杂使机器人很难得到好的规划结果。采用强化学习算法中的Q-learning算法实现井下移动机器人的局部路径规划，并对Q函数中的即时回报进行加权修正，使算法更有效地利用环境特征信息，进一步提高了避障能力。最后通过VC++进行仿真和模拟。仿真实验说明该方法的有效性和可行性。 　　关键词：移动机器人；不确定环境；强化学习；路径规划 　　中图分类号：TP18文献标识码：B 　　文章编号：1004-373X(2008)24-106-03 　　 　　Path Planning of Mobile Robot Based on Q-learning Algorithm under Coal Mine 　　WANG Shuai 　　(Fushun Branch,China Coal Research Institute,Fushun,113001,China) 　　Abstract：Path planning of robot is still a difficult question in the robot research domain.Q-learning algorithm is used to realize local path planning of mobile robot under coal mine for environment uncertainty of coal mine,because it is difficult to obtain a good path in such a complex enivronment.Instant rewards in the function are modified by using weight,then the information of environment characteristics is used effectively to avoid the obstacles.At last the algorithm is simulated by using VC++.Simulation shows that this algorithm is efficient and feasible. 　　Keywords：mobile robot;uncertain environment;reinforcement learning;path planning 　　 　　1 引 言 　　 　　我国煤矿井下安全事故频发，其中由于瓦斯爆炸而引起的煤矿灾害事故占一半以上，安全一直是制约煤炭开采的关键问题。为了在井下发生煤矿瓦斯等事故中及时开展救援工作，研究一种能进入危险矿井进行现场环境检测和人员搜救的井下移动机器人是非常必要的。 　　煤矿井下地形复杂，环境恶劣，灾害发生后的井下环境变得更加不确定，复杂的路况要求井下移动机器人要有较强的路径规划能力。不确定环境下的路径规划是移动机器人研究的一个重要问题，一直是一个没能妥善解决的难题。所谓不确定环境，是指移动机器人只能通过传感器探测其周围有限范围内的环境信息。在这种不确定环境下，移动机器人的路径规划大都采用局部路径规划方法，又称动态或在线路径规划。 　　灾害后的井下环境是不确定的，路径规划方法一定要有学习的能力才能适应环境，提高井下移动机器人的智能性。强化学习是一种无监督的在线学习方法，由于其不需要知道环境精确模型，具有实时性和自适应性，因而适应解决井下不确定环境下的移动机器人路径规划问题。采用强化学习算法中的Q-learning算法来实现移动机器人在井下不确定环境下的路径规划，Q-learning算法适应不确定性环境下的学习，可以在井下的复杂多变的环境下快速有效地实现路径规划。 　　 　　2 强化学习中Q-learning的算法 　　 　　强化学习又被称为增强学习或再励学习，它的本质是从环境状态到动作映射的学习，以使动作从环境中获得的累积回报值最大。强化学习是一种重要的机器学习方法，在智能控制、机器人及分析预测等领域有许多应用。它要解决的是这样的问题，一个能够感知环境的自治机器人，怎样通过学习选择能达到目标的最优动作，即从环境到行为映射的学习，以使奖励信号(强化信号)最大。Q-learning算法是一种最重要的强化学习方法。Q-learning是无需环境模型的强化学习的一种形式，它可以被认为是异步动态规划的一种方法。Q-learning面临的任务是在初始条件未知的情况下来决定策略。Watikins把Q-learning看成一个增量