移动机器人自主寻路避障启发式动态规划算法.PDFVIP

２０１４年 ７月 农 业 机 械 学 报 第 ４５卷 第 ７期 ｄｏｉ：１０．６０４１／ｊ．ｉｓｓｎ．１０００１２９８．２０１４．０７．０１２ 移动机器人自主寻路避障启发式动态规划算法 １，２ １ 方　啸 　郑德忠 （１．燕山大学电气工程学院，秦皇岛 ０６６００４；２．罗德岛大学电气工程学院，罗德岛州金士顿 ０２８８１） 摘要：用启发式动态规划算法解决移动机器人自主寻路、避障问题。提出了传感器检测环境状态的方法，以及对传 感器检测信息进行归一化处理的方案。对输入、输出量以及学习系统的强化信号进行定义，设计了机器人自主学 习寻路、避障的控制策略。定义了连续型强化信号，使机器人通过学习，对优先寻路还是优先避障做出决策判断。 为验证启发式动态规划算法在移动机器人寻路、避障问题上的学习能力，设计了３种不同的寻路、避障仿真实验： 同目标、不同起始点，同起始点、不同目标，和移动目标仿真实验。仿真结果表明，对于不同的寻路、避障要求，基于 启发式动态规划算法的移动机器人具有良好的学习及适应能力。 关键词：移动机器人　寻路避障　启发式动态规划　强化学习 中图分类号：Ｏ２２１３；ＴＰ２４２ 文献标识码：Ａ 文章编号：１０００１２９８（２０１４）０７００７３０６ ｐｒｏｇｒａｍｍｉｎｇ，ＡＤＰ）是解决动态规划问题较好的算法 　　引言 ［１０－１３］ 之一 。其基本思想是采用贝尔曼最优化原理， 移动机器人自主寻路、避障问题是设计一个有 通过在线环境交互，自行学习并改善控制策略（函 自主学习能力的移动机器人，使其在未知环境里能 数逼近 Ｈａｍｉｌｔｏｎ Ｊａｃｏｂｉ Ｂｅｌｌｍａｎ（ＨＪＢ）方程近似 通过学习，无碰撞地从给定起点行走到达指定 目 解），进而使系统趋于最优［８，１４－１６］。这种在线学习 标［１－４］。目前，学者们最常讨论的方法是模糊神经 方 式 属 于 强 化 学 习 （Ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ， ［２－７］ ［１７－１８］ 网络算法 。该算法通过神经网络对输入量进行 ＲＬ） 过程。它有别于监督学习 （Ｓｕｐｅｒｖｉｓｅｄ 模糊化处理，并利用逻辑语言对输出量进行逻辑规 ｌｅａｒｎｉｎｇ，ＳＬ）：监督学习是通过比较实际输出值与期 则定义。其控制策略是通过输出量对逻辑规则表寻 望输出值的误差数值来调节系统的控制策略；而在 址，做出相应的寻路、避障动作。然而，该算法众多 强化学习里，系统并不知期望的输出值，仅通过学习 逻辑规则（如文献［７］定义了４８条逻辑规则）占据 过程 中从环境里实时反馈 的强化信号 （奖励 了大量的储存空间，影响了计算速度。且对输出量进 （ｒｅｗａｒｄ）值或惩罚（ｐｕｎｉｓｈ）值）来判断当前控制策 ［１０］ 行人为规则定义，在环境变化的状态下其适用性不强。 略的“好”、“坏” 。其目的是通过自主调节控制 ［８］ ［１５，１９］ 本文提出用启发式动态规划算法 解决移动 策略，使系统趋于“好”（最优）的状态 。 机器人寻路、避障问题的方案。与模糊神经网络算 在自适应动态规划算法的结构里，启发式动态 法相比，自