模糊Q学习的足球机器人双层协作模型.pdfVIP

维普资讯 第 3卷第 3期 智 能 系 统 学 报 VolI3№ ．3 2008年6月 CAM TransactionsonIntelligentSystems Jun．2008 模糊 Q学习的足球机器人双层协作模型 曹卫华，徐凌云，吴 敏 (中南大学信息科学与工程学院，湖南 长沙410083) 摘 要：针对传统的足球机器人3层决策模型存在决策不连贯的问题和缺乏适应性与学习能力的缺点 ，提出了一种 基于模糊 Q学习的足球机器人双层协作模型．该模型使协调决策和机器人运动成为2个功能独立的层次，使群体意 图到个体行为的过度变为一个直接的过程 ，并在协调层通过采用 Q学习算法在线学习不 同状态下的最优策略，增强 了决策系统的适应性和学习能力．在Q学习中通过把状态繁多的系统状态映射为为数不多的模糊状态，大大减少了 状态空间的大小 ，避免了传统Q学习在状态空问和动作空间较大的情况下收敛速度慢，甚至不能收敛的缺点 ，提高 了Q学习算法的收敛速度．最后 ，通过在足球机器人SimuroSot仿真比赛平台上进行实验 ，验证 了双层协作模型的有 效性． 关键词：足球机器人 ；双层决策模型；基于行为的控制系统；Q学习 中图分类号：TP18 文献标识码：A 文章编号：1673-4785(2008)03-0234-05 A double--layerdecision--makingmodelbasedon fuzzy Q—learningforrobotsoccer CAOWei—hua，XU Ling—yun，WU Min (SchoolofInformationScienceandEngineering，CentralSouthUniversity，Changsha410083，China) Abstract：Withtheconventionaltriple—layerdecision—makingmodelofsoccerrobots，decisionsaresometimesin— consistent，leadingtoweaknessesinadaptabilityandself-learningability．A double—layercooperationmodelfora robotsoccersystembasedonfuzzyQ—Learningispresentedtosolvetheseissues．Thismodeldividescooperativede— cisionsandrobotmovementintotwolayerswith theirownindependentfunctions，SOthatthetransitionfrom group strategytoindividualbehaviorbecomesadirectprocess．Toenhancetheadaptabilityandself-learningcapabilities ofthedecision—makingsystem，theQ—learningalgorithmwasusedinthecooperationlayertolearntheoptimalstrat— egyforvariousconditions．TospeeduptheconvergenceofQ—learninganddecreasethesizeofthestatespace，the numeroussystem statesweremappedtosevenfuzzystatesinQ—learning．ThisavoidsproblemswithQ—learnings slow convergingratewhenthesizeofthestatespaceislarge．Thismodelwasverifiedon