煤矿井下基于Q—learning算法的移动机器人路径规划.pdfVIP

王 帅：煤矿井下基于Q—learning算法的移动机器人路径规划 煤矿井下基于Q—learning算法的移动机器人路径规划 王 帅 (煤炭科学研究总院抚顺分院 辽宁 抚顺 113001) 摘 要：机器人的路径规划一直是机器人研 究领域 的难 点问题。针对煤矿井下环境 的不确定性 ，环境的复杂使机器人 很难得到好的规划结果。采用强化学习算法中的Q—learning算法实现井下移动机器人的局部路径规划，并对 Q函数中的 即时回报进行加权修正，使算法更有效地利用环境特征信息，进一步提高了避障能力。最后通过VC 进行仿真和模拟。仿 真 实验说明该方法的有效性和 可行性。 关键词 ：移动机器人 ；不确定环境；强化学 习；路径规划 中图分类号 ：TP18 文献标识码 ：B 文章编号 ：1004—373X(2008)24—106一O3 PathPlanningofMobileRobotBasedonQ——learningAlgorithm underCoalMine W ANG Shuai (FushunBranch，ChinaCoalResearchInstitute．Fushun，113001，China) Abstract：Pathplanningofrobotisstilladifficultquestionintherobotresearchdomain．Q—learningalgorithm isusedtO realizelocalpathplanningofmobilerobotundercoalmineforenvironmentuncertaintyofcoalmine，becauseitisdifficulttO obtainagoodpathinsuchacomplexenivronment．Instantrewardsinthefunctionaremodifiedbyusingweight，thentheinfor— mationofenvironmentcharacteristicsisused effectivelytOavoid theobstacles．Atlastthealgorithm issimulated by using VC ．Simulationshowsthatthisalgorithm isefficientandfeasible． Keywords：mobilerobot；uncertainenvironment；reinforcementlearning；pathplanning 划问题 。采用强化学习算法 中的Q—learning算法来 实现移动机器人在井下不确 定环境下 的路径规划， 我 国煤矿井下安全事故频发 ，其中由于瓦斯爆炸而 Q—learning算法适应不确定性环境下的学习，可 以在 引起的煤矿灾害事故 占一半以上 ，安全一直是制约煤炭 井下的复杂多变的环境下快速有效地实现路径规划 。 开采的关键问题。为了在井下发生煤矿瓦斯等事故 中 及时开展救援工作 ，研究一种能进入危险矿井进行现场 2 强化学习中Q—learning的算法 环境检测和人员搜救的井下移动机器人是非常必要的。 强化学习又被称为增强学习或再励学习，它的本质 煤矿井下地形复杂 ，环境恶劣 ，灾害发生后 的井下环境 是从环境状态到动作映射的学习，以使动作从环境 中获 变得更加不确定 ，复杂的路况要求井下移动机器人要有 得的累积 回报值最大。强化学习是一种重要 的机器学 较强的路径规划能力 。不确定环境下的路径规划是移 习方法，在智能控制、机器人及分析预测等领域