多AgentQ学习几点问题的研究及改进.pdfVIP

2274 2009，30(9) 计算机工程与设计 ComputerEngineeringandDesign ·人工智 能 。 多AgentQ学习几点问题的研究及改进 孟祥萍 ， 王圣镔 ， 王欣欣 (1．长春工程学院 电气与信息学院，吉林 长春 130012；2．东北电力大学信息工程学院，吉林 吉林 132012) 摘 要：提出了一种新颖的基于Q-学习，蚁群算法和轮盘赌算法的多Agent强化学习。在强化学习算法中，当Agent数量增 加到足够大时，就会出现动作空间灾难性问题，即：其交互困难，学习速度骤然下降。另外，由于Agent是利用Q值来选择下 一 步动作的，因此，在学习早期，动作的选择严重束缚于高Q值。在这里，把蚁群算法，轮盘赌算法和强化学习三者结合起 来，期望解决上述提 出的问题。最后，对新算法的理论分析和实验结果都证明了改进的Q学习是可行 的，并且可以有效的提 高学习效率。 关键词：多Agent强化学习算法；蚁群算法；轮盘赌算法；Q值；动作空间灾难 中图法分类号：TP181 文献标识码：A 文章编号：1000．7024(2009)09．2274．03 Studyforsomeproblemsofmulti-a·gentQ--learningandimproving MENGXiang-ping， W ANG Sheng—bin， WANGXin—xin2 (1．DepartmentofElectricalEngineering，ChangchunInstituteofTechnology,Changchun130012，China； 2．DepartmentofComputerEngineering，NortheastDianliUniversity,Jilin132012，China) Abstract：Anovelmulti—agentreinforcementlearningalgorithmbasedonQ—Learning，antcolonyalgoritmh androulettealgorithm is presented．Asinreinforcementlearningalgoritmh ，whenthenumberofagentsislargeenough，allofhteactionselectionmethodswill befailed：htespeedoflearningisdecreasedsharply．Besides，ashteAgentmakesuseoftheQvaluetochoosehtenextactionSOthat htenextactionisrestrainedseriouslybyhtehighQvalue，inhteprophase．So，wetrytocombinethenatcolonyalgorithm，roulette algorithmwihtQ—learning，hopingthathteproblemswillberesolvedwihtourproposed．Atlast，thehteorynaalysisnadresultofex— perimentbohtdemonsrtatethattheimprovedQ—learningisfeasibleandnicreasehtelearningefficiency． Keywords：multi—agentreinforcementlearningalgorithm；antcolonyalgorithm；roulettealgorithm；Qvalue；disasterofactionroom 在本文研究多Agent强化学习时，利用了随机对策和贪 0 引 言 婪￡策略行为选择方式，在贪婪￡策略行为选择方式前提下，当 有关多Agent的学习在过去1O年里成为非常活跃 的研究 Agent采用利用策略时，提出了结合轮盘算法进行选择动作的 领域，在研究多Agent系统学习方面，强化学习技术之所 以吸 一 种适用于多Agent强化学习的新算法。 引了众多研究者，是因为强化学习技术不仅不需要环境模型，