基于操作条件反射自动机的仿生自主学习方法.PDF

第 37卷 第 11期 北 京 工 业 大 学 学 报 Vol_37 No．11 2011年 11月 J0URNALOFBEIJINGUNIVERSITY OFTECHNOLOGY NOV．20l1 基于操作条件反射 自动机的仿生 自主学习方法 阮晓钢，郜 园园，宋洪军 (北京工业大学 电子信息与控制工程学院，北京 100124) 摘 要：提出了基于操作条件反射的仿生 自主学习方法，设计了操作条件反射 自动机 (OCM)的认知模型．与原 来的学习自动机相比，该模型增加了状态取向单元，利用 “反应 一强化”的学习机理，来模拟 自然界生物的 “随机 应变性”．设计了OCM 的递归学习算法 ，用于模拟生物的操作条件反射机制，使其具有仿生的自组织功能，包括 自学习和 自适应功能．通过模拟 Skinner鸽子实验和倒立摆平衡控制实验 ，验证 了该模型具有一定的仿生 自主 学习能力，可用于描述、模拟和设计各种 自组织系统． 关键词 ：操作条件反射 自动机 ；仿生 ；自主学习；自组织 中图分类号 ：TP18 文献标志码 ：A 文章编号 ：0254—0037(2011)11—1631—07 1938年，美国Harvard大学心理学教授 Skinner在其著作 《TheBehaviorofOrganisms))中提出了 “操作 条件反射”(operantconditioning，Oc)的概念 ，并 由此创立了Skinner操作条件反射理论．人们也随之开始 关注模拟操作条件反射的认知模型研究．美国卡内基 ·梅隆大学 (CMU)机器人学研究所和认知神经生理 学基础研究中心，自20世纪 90年代中期开始进行 了一项持续时间较长 的关于机器人控制的研究计划 (TheSkinnerbotsProject)，主要研究关于Skinner的操作条件反射的计算理论和计算模型，这种模型能复 制动物 (如 鼠、狗、鸽子等)学习操作或控制的实验；然后，在 自主机器人上实现这种模型，使其成为可训练 的机械(trainablemechanism)1-4]．之后，Skinnerbots的研究转向SonyAIBO(一种机器狗)，Touretzky等人 进一步发展了Pavlov经典条件反射理论与 Skinner的OC理论相结合的计算理论和计算模型，这类模型能 处理机器人所遇到的多种知识获取和学习问题，而 SonyAIBO机器狗就是这类模型的实验研究平台 ． 1997年 ，美 国波士顿大学 Neurobotics实验室的Gaudiano等针对一个实际的轮式机器人 Khepera的导 航问题，建立了Pavlov理论与 Skinner理论相结合的神经计算模型，Khepera不需要任何先验知识和教师 信号 ，即可在巡航过程中学习规避障碍 ． 2005年，日本早稻 田大学机械工程系机器人研究小组 Itoh等为人性化机器人 (humanoidrobot)设计 了 一 种新的行为模型，发展了Hull行为理论，作为 Sinner操作条件反射理论的数学模型．这一模型在 WE一 4RII机器人上得以实现，实验显示，基于OC操作条件反射模型，WE一4RII能在其预先制定的行为列表范 围内，自主地选择合适特定情景的行为模式 ¨． 从上述研究中可以看 出，OC模型已越来越受到人们关注，并且在一定程度上实现了生物体复杂的行 为认知 ，但未能很好地体现生物体 自组织、自学习的操作行为．因此 ，这里提 出一种操作条件反射 自动机 的模型．该 自动机是一种基于操作条件反射的仿生学习 自动机．学习 自动机 (LA)的研究 已比较成熟 ，最 早是由Narendra等在 1974年提出口 ，LA能适应未知的随机环境并做 出行为决策 ，它有有限个行为集合 且每个行为都有其对应 的回报概率值 ，通过与环境的相互作用进行学习从而选择最佳行为．1985年， Thathachar等提出一种预估 自动机模型，该模型比较简单，在仿真实验中收敛速度 比较快 ¨．1990年， Oommen等采用追踪算法提出一种 自动机的模型，提高了自动机的收敛速度” ．1992年，Lanctbt等提出 收稿 日期 ：2009—09—17． 基金项 目：国家 自然科学基金资助项 目；国家 “863计划”资助项 目 (2007AA04Z