一种基于划分和集成思想的多智能体强化学习.pdfVIP

第8卷第4期 南京师范大学学报(工程技术版) V01．8No．4 AND 2008年12月 JOURNALOFNANJINGNORMALUNIVERSITY(ENGINEERINGTECHNOLOGY 一种基于划分和集成思想的多智能体强化学习 土王 石，稀云，韩 伟1币 (南京财经大学信息工程学院，江苏南京210046) [摘要]gl-列口学习状态空间非常大，导致收敛速度非常慢的问题。利用智能体在不同样本上分类性能不同．提出了基于样 本的学习误差对样本空间进行划分，充分发掘了样本和智能体的匹配关系．以带障碍物的格子世界作为仿真环境，表明该算法 提高了在线学习性能． [关键词] 多智能体系统，强化学习。状态空间划分 301 【中图分类号】11P [文献标识码]A[文章编号]1672·1292(2008)04-0059-04 An ReinforcementBasedonPartitionand Multiagent Learning Integration Wei Yun，Han Wang Scienceand ofFinancialand 210046，China) (Information EngineeringCollege，NanjingUniversity Economics。Nanjing counterforthe of of when to Abstract：To state-space，thepaper problemslowlyconvergenceQleaningcomeinglarge all whichdividethestates to elTOl$．Thebasicideaofour isto forward puts algorithm spaceaccordinglearning algorithm in withblocks discoverthe betweenandthe ofstates simulations matchingrelationshipagents sub—space space．The grids indicatethatthe betterwhen toon·line performs learning． algorithm comeing Keywords：multiagentsystem，reinforcementlearning，state·spacepartition 自治智能体的学习问题是多智能体系统一个重要研究内容．Q强化学习将智能体与环境的交互看作 一个Markov决策过程，是一类具有广泛应用价值的学习算法．许多工作基于Q强化学习提出相应的扩展 算法，刘海涛等提出不确定环境下基于进化算法的Q强化学习方法…；韩伟等提出基于内省推理的Q学习 方法心】，并针对电子市场提出基于Q强化学习的智能定价算法p 整个状态一动作空间才能使估计Q值收敛到真实Q值．但是这个收敛条件在实际复杂的情形中几乎无法 满足，通常情况下，状态空间是很大的，因为随着环境特征数量的增加，可能出现的状态的数量也会成指数 地增加．这导致在涉及大的特征空间的随机环境中，强化学习的