基于强化学习的农业移动机器人视觉导航分析.PDF

２０１４年 ２月 农 业 机 械 学 报 第 ４５卷 第 ２期 ｄｏｉ：１０．６０４１／ｊ．ｉｓｓｎ．１０００１２９８．２０１４．０２．０１０ 基于强化学习的农业移动机器人视觉导航 周　俊　陈　钦　梁　泉 （南京农业大学江苏省智能农业装备重点实验室，南京 ２１００３１） 摘要：以强化学习为基础，结合模糊逻辑理论研究了农业移动机器人通过自主学习获取导航控制策略的方法。首 先使用机器视觉检测环境障碍并获取障碍物相对于移动机器人的方向和距离信息。然后应用强化学习设计了机 器人自主获取导航控制策略方法，使机器人能够不断适应动态变化的导航环境。最后基于模糊逻辑离散化连续的 障碍物方向和距离信息，构建了离散化的环境状态，并据此制定了自主导航学习 Ｑ值表。在自制的轮式移动机器 人平台上开展了试验，结果表明机器人可以在实际导航环境中自动获取更优的导航策略，完成预期的导航任务。 关键词：农业机器人　强化学习　模糊逻辑　视觉导航 中图分类号：ＴＰ２４２６ 文献标识码：Ａ 文章编号：１０００１２９８（２０１４）０２００５３０６ 旋转编码器等几部分组成。双 目立体视觉通过 　　引言 １３９４接口与主机连接，有效视距为７ｍ，视野角度为 与工业应用场景不同，农业移动机器人的作业 ４０°。光电旋转编码器分别置于移动机器人 ２个驱 环境多数是开放且动态变化的，无法准确预知障碍 动轮的轮轴上，根据其读数可以实时解算移动机器 几何形状、运动速度以及空间分布等信息，使得预先 人的速度和航向角信息。 规划好的导航策略方法既繁琐又难以有效，这就需 要机器人具有一定的自主学习能力来动态适应这种 开放的变化环境。 目前，解决动态环境中机器人自主导航问题常 ［１］ ［２］ 用的方法有遗传算法 、人工势场法 、人工神经 ［３］ ［４］ ［５－６］ 网络法 、蚁群优化算法 和模糊控制法 等。 这些方法多数尚处于算法仿真阶段，有效性还需进 一步检验。 图１　移动机器人平台 强化学习通过智能体与环境之间的交互作用成 Ｆｉｇ．１　Ｍｏｂｉｌｅｒｏｂｏｔｐｌａｔｆｏｒｍ 为提高智能体适应未知环境能力的重要方法［７］。 　 因此，本文以双目立体视觉作为机器人自主导航环 要实现移动机器人在动态作业环境中安全导 境感知传感器，采用强化学习方法来增强农业移动 航，必须检测环境中可能存在的各类运动和静止障 机器人自主导航对动态场景的适应性。此外，为了 碍，可以利用双目立体视觉来检测障碍物相对机器 克服强化学习方法不易于处理连续状态空间且容易 人的角度和距离信息［８－９］。如图２所示，在二维路 面上定义移动机器人坐标系的ｘｏｚ平面，其中ｄ和 出现维数爆炸问题，结合模糊逻辑方法，完成感知信 ｒｏ θ分别是障碍物相对移动机器人的距离和方向信 息到移动机器人行为的离散化映射，提出基于强化 ｒｏ 学习与模糊逻辑相结合的反应式控制方法。最后在 息。 自制的移动机器人平台上进行试验。