基于神经网络的强化学习研究概述.pdfVIP

ISSN 1009-3044 E—mail：eduf@CCCC．net．cn Compu~rKnowledgeandTechnology电脑知识与技术 http：／／www．dnzs．net．cn Vo1．8，No．28，October2012． Te1：+86—551—5690963 5690964 基于神经网络的强化学习研究概述 尤树华，周谊成，王辉 (苏州大学 计算机科学与技术学院，江苏 苏州 215006) 摘要：随着强化学习的日益发展 ，研究越来越深入 ，将神经网络引入强化学习的研究中已经成为热点课题之一。本文首先 介绍强化学习的定义、原理及一般结构，接着简单表述神经网络的基本内容和马尔科夫决策过程模型；然后将强化学习和 神经网络融合，重点介绍了两种常见的学习算法，算法都是改进过并且融合 了神经网络的特性 ；最后，简单介绍该方式的 强化学习在人工智能，控制系统，游戏以及优化调度等领域的应用情况。 关键词：强化学习；神经网络；马尔科夫决策过程 ；算法；应用 中图分类号：TP18 文献标识码：A 文章编号：1009—3044(2012)28—6782—05 ResearchonReinforcementLearningBasedonNeuralNetwork：A Summary YOU Shu—hua，ZHOU Yi—cheng，W ANGHui (CoUegeofComputerScienceandTechnology，SoochowUniversity，Suzhou215006，China) Abstract：Alongwiththedevelopmentofintensivestudyandstudymoreandmorethorough，theneuralnetworkintothestudy ofReinforcementLearn inghasbecomeoneofthehottopics．Inthispaper，wefirstlysurveythedefinition，principleandstmc— tureofreinforcementlearning，thensimplyexpressthebasiccontentofneuralnetworkandMarkovdecisionprocessmodel；In addition，wefocusonthethreecommon learningalgorithm basedontheintegrationofreinforcementlearn ingandneural net— work．，whichareimprovedandcombinedwiththecharacteristicsoftheneural newt ork．Last，weintroducetheapplicationofre- inforcementlearninginartificialintelligence，controllingsystem，gamesandoptimizationschedulingandSOon． Keywords：reinforcementlearning；neuralnewt ork；Markovdecisionprocessmodel；algorithm；application 在机器学习领域，大致可以将学习分为监督学习、非监督学习和强化学习三大类。强化学习以其在线学习能力和具有无导师 制的自适应能力 ，因此被认为设计智能Agent的核心技术之一。从20世纪80年代末开始，随着数学基础 日益发展的支持 ，应用范围 不断扩大，强化学习也就成为 目前机器学习的研究热点之一。在研究过程中，随着各种方法、技术和算法大量应用于强化学习中， 其缺陷和问题也就 日渐显现出来，寻找一种更好的方式和算法来促进强化学习的发展和广泛应用，是研究人员探讨和研究的重 点。因此，神经网络及其算法以其独特的泛化能力和存储能力成为众多研究人员重视的研究对象。 在此之前，已有大量研究者通过神经网络的特性来加强强化学习的效果及应用。张涛 等人利用将Q学