进化操作行为学习模型及在移动机器人避障上应用.docVIP

进化操作行为学习模型及在移动机器人避障上应用 　　摘 要：针对移动机器人避障上存在的自适应能力较差的问题，结合遗传算法（GA）的进化思想，以自适应启发评价（AHC）学习和操作条件反射（OC）理论为基础，提出了一种基于进化操作行为学习模型（EOBLM）的移动机器人学习避障行为的方法。该方法是一种改进的AHC学习模式，评价单元采用多层前向神经网络来实现，利用TD算法和梯度下降法进行权值更新，这一阶段学习用来生成取向性信息，作为内在动机决定进化的方向；动作选择单元主要用来优化操作行为以实现状态到动作的最佳映射。优化过程分两个阶段来完成，第一阶段通过操作条件反射学习算法得到的信息熵作为个体适应度，执行GA学习算法搜索最优个体；第二阶段由OC学习算法选择最优个体内的最优操作行为，并得到新的信息熵值。通过移动机器人避障仿真实验，结果表明所设计的EOBLM能使机器人通过不断与外界未知环境进行交互主动学会避障的能力，与传统的AHC方法相比其自学习自适应的能力得到加强。 　　关键词：移动机器人；自适应启发评价；操作条件反射；遗传算法；避障 　　中图分类号： TP242 　　文献标志码：A 　　0 引言 　　移动机器人研究的最终目标是机器人能够在未知环境导航中通过不断增加经验改善行为而具备高度自治的能力。常用的移动机器人避障方法主要有人工势场法、环境地图法、神经网络法和模糊逻辑算法[1-4]。但由于已有算法不同程度地存在一定局限性，诸如搜索空间大、算法复杂、效率不高等，尤其对于未知环境，不少算法的复杂度会大大增加，甚至无法求解。而机器学习的方法为复杂环境的知识获取提供了有效的解决途径[5-7]。 　　与已有的监督学习和无监督学习方法不同的是，增强学习可以利用与环境的交互而获得的评价性反馈信号来实现系统优化的性能，是一种试错学习的方式。Sutton等[8]在Barto等的研究基础上提出了自适应启发评价（Adaptive Heuristic Critic， AHC）方法。AHC学习系统通常由自适应评价单元（Adaptive Critic Element， ACE）和动作选择单元（Adaptive Selection Element，ASE）组成。此后，一些学者对AHC学习算法作了进一步的研究，扩大了AHC的应用领域[9-13]。但是，因为传统的AHC方法没有生物学上的约束，只是为解决不同的问题而设计的，还不完全像动物学习。Touretzky等[14]指出用增强学习方法训练的移动机器人还不完全与动物的先进性、功能性和适应性相像。而仿生学习作为一种可以不需要环境模型，无导师的在线学习方法，对实现机器人自学习、自适应能力具有重要的研究价值。Gutnisky等[15]受神经生理学、心理学和动物行为学启发设计了一种学习避障的行为选择模型，为研究新的仿生学习方法提供了一种思路。本文正是在传统AHC方法基础上，引入神经心理学上操作条件反射理论和生物学上进化机制作为约束，建立一种仿生学习方法，使机器人像人或动物一样具有自主学习复杂环境的能力。 　　Touretzky等[14]提出的操作条件反射（Operant Conditioning， OC）被认为是生物系统最基本的学习形式，增强学习的思想也来源于此。其核心内容为：某一操作行为一旦受到其结果的强化，则该行为发生的概率就会增加。操作条件反射这一概念的特点在于，它强调行为结果对行为的影响。自20世纪90年代中期开始， 美国卡内基梅隆大学（CMU）机器人学研究所主要研究关于Skinner OC的计算理论和计算模型， 期望这种模型能复制动物学习操作或控制的实验；然后在机器人上实现这种模型， 使其成为可训练的机械[16]。1997年，美国波士顿大学Neurobotics实验室的Gaudiano等[17]针对一个实际的轮式机器人Khepera的导航问题，建立了一个Pavlov理论与Skinner理论相结合的神经计算模型，Khepera不需要任何先验知识和教师信号，即可在巡航过程中学习规避障碍。2005年，日本早稻田大学机械工程系机器人研究小组Itoh等[18]为人性化机器人（Humanoid Robot）设计了一种基于OC操作条件反射的新行为模型，发展了Hull行为理论来作为Sinner操作条件反射理论的数学模型，并使WE4RII能在其预先制定的行为列表范围内，自主地选择合适特定情景的行为模式。但是， 这些计算理论和计算模型没有给出具体的数学计算模型， 不具备泛化能力， 应用受到了限制。 　　以概率自动机为平台，蔡建羡等[19]用其来模拟操作条件反射机制，设计了相应的仿生系统，给出了具体的数学计算模型，并成功实现了两轮机器人的平衡控制； 　　同时蔡建羡等还把OC与GA相结合，提出了一种操作条件反射模型，并