学习过程中共享经验的Q学习算法的研究.pdfVIP

第 39卷 第 5期 计 算 机 科 学 Vo1．39No．5 2012年 5月 Computer Science M ay2012 学习过程 中共享经验的Q学习算法的研究 乔 林 罗 杰 (南京邮电大学 自动化学院 南京210046) 摘 要 主要以提高多智能体系统中Q学习算法的学习效率为研究 目标，以追捕 问题为研究平台，提 出了一种基于 共享经验的Q学习算法。该算法模拟人类的团队学习行为，各个智能体拥有共同的最终 目标，即围捕猎物，同时每个 智能体通过协商获得 自己的阶段 目标。在学习过程中把学习分为阶段性学习，每学习一个阶段，就进行一次阶段性总 结，分享彼此好的学习经验，以便于下一阶段的学习。这样以学习快的、好的带动慢的、差的，进而提升总体的学习性 能。仿真实验证明，在学习过程中共享经验的Q学习算法能够提高学习系统的性能，高效地收敛于最优策略。 关键词 Q学习算法，MAS，围捕 问题，共享经验 中图法分类号 TP181 文献标识码 A ResearchonQLearningAlgorithm withSharingExperienceinLearningProcess QIAOLin LUOJie ((k~llegeofAutomation，NanjingUniversityofPosts＆ Telecommunications，Nanjing210046，China) Abstract Theaim oftheresearchistoimprovetheefficienceofmulti-agentQ-learingalgorithm．Thispaperproposeda methodofmuhi——agentQ—learningwithsharingexperiencebasedonthepursuitproblem．Thisalgorithm simulatshuman behaviorofalearningteam，andallagentsshareacommonutimategoalofcapturingtheprey，atthesanletimeeverya— gentgelstheirovenmilestonesthroughnegotiations．Thelearningprocessisdividedintosomestages．Afteralearning stage，hterewillbeastageSUlmnary．Fhengoodlearningexperiencewillbesharedwitheachotherinordertofacilkate thenextstageoflearning．Theagentswholearnfastandwellcanhelptheoneswholearnslow andnotwell，sointhis waytheperformanceofthesystem isenhanced．ThesimulationresultsprovethattheQ-learningalgorithm withsharing experienceinlearningprocesscanimprovetheperformanceoflearningsystemsandefficientconvergencetotheoptimal strategY． Keywords Q learningalgorithm，MAS，Pursuitproblem，Sharingexperience 共享经验的多主体强化学习方法l6]，即通过分析状态空间的 1 引言 对称性来压缩状态空间，从而实现部分经验共享。本文提 出 增强学习又称为强化学习或再励学习，是