基于强化学习的非玩家角色行为改进.pdfVIP

2014年 9月 四川大学学报 (自然科学版) Sep． 2014 第 51卷 第 5期 JournalofSichuanUniversity(NaturalScienceEdition) Vo1．51 No．5 doi：103969／j．issn．0490—6756．2014．05．010 基于强化学习的非玩家角色行为改进 ， 李炎武 ，陈 渝 ，曾庆维 罗 程 ，林 涛 (1．四川大学计算机学 院，成都 610065；2．四JI民族学院计算机学院，康定 626001) 摘 要：当前游戏 中非玩家角色(Non—playerCharacter，NPC)的行为主要基于随机 决策或者 传统的预定义行为决策 ，该方法的NPC不具有对游戏环境的 自主学习能力．本文研究的 目的 是探索将强化学习方法应用于提 高游戏 NPC智能，使 NPC在游戏过程中能实时地 学习和适 应演进的游戏环境 ，产生最合适的行为策略来响应玩家．本文提 出一种动态训练强化学 习的 探 索率参数方法，并将该方法应用于经典的BomberMan游戏 中．实验 结果表 明，该方法训 练的NPC比非强化学习和传统强化学习训练的NPC具有更高的智能． 关键词：游戏智能；强化学 习；非玩家角色 中图分类号：TP399 文献标识码 ：A 文章编号 ：0490—6756(2014)05—0915—06 UsingreinforcementlearningtoimproveNPC intelligence LIYan—Wu ，CHEN Yu。，ZENGQing—Wei ，LUOCheng ，L N Tao (1．CollegeofComputerScience，SichuanUniversity，Chengdu610065，China； 2．CollegeofComputerScience，SichuanUniversityforNationalities，Kangding626001，China) Abstract：Traditionalnon—playercharacter (NPC)strategiesaredevelopedmainlybasedon stochastic decisionorpredefinedbehaviordecisionandthesemethodslackthecapabilityofautomaticlearning．The purposeoftheresearchistoexploringtheapplicationofreinforcementlearningtechniquesinimproving NPC intelligence．i．e．，producingtheoptimalNPCstrategythatenablesNPCtolearnandadjustitself togamecontext．Specifically，theauthorsfirstpresentedamethodofdynamicallytrainingexploration rateofreinforcementlearning，andthenappliedthemethodintoaclassicalgame “Bomber”．Theresults show thatthepresentedmethodcanobtainbetterNPC intelligencecomparedtotraditionalreinforcement learningmethods． Keywords：Gameintelligence；Reinforcement1earning；NPC 中的NPC使用人工智能 (ArtificialIntelligence， 1 引 AI)技术 ，NPC能够根据玩家操作做 出合理适