深度强化学习综述.pdfVIP

第41卷第1期计算机学报Vol|4lNo．1

2018年1月CHINESEJOURNALOFCOMPUTERSJan．2018

深度强化学习综述

刘全翟建伟章宗长钟珊周倩章鹏徐进

”(苏州大学计算机科学与技术学院江苏苏州215006)

(软件新技术与产业化协同创新中心南京210000)

摘要深度强化学习是人工智能领域的一个新的研究热点．它以一种通用的形式将深度学习的感知能力与强化

学习的决策能力相结合，并能够通过端对端的学习方式实现从原始输入到输出的直接控制．自提出以来，在许多需

要感知高维度原始输入数据和决策控制的任务中，深度强化学习方法已经取得了实质性的突破．该文首先阐述了

三类主要的深度强化学习方法，包括基于值函数的深度强化学习、基于策略梯度的深度强化学习和基于搜索与监

督的深度强化学习；其次对深度强化学习领域的一些前沿研究方向进行了综述，包括分层深度强化学习、多任务迁

移深度强化学习、多智能体深度强化学习、基于记忆与推理的深度强化学习等．最后总结了深度强化学习在若干领

域的成功应用和未来发展趋势．

关键词人工智能；深度学习；强化学习；深度强化学习

中图法分类号TP18DOI号10．11897／SP．J．1016．2018．00001

ASurveyOilDeepReinforcementLearning

LIUQuanZHAIJian—WeiZHANGZong—ZhangZHONGShan

ZHOUQianZHANGPengXUJin

”(SchoolofComputerScienceandTechnology，SoochowUniversity，Suzhou，Jiangsu215006)

(CollaborativeInnovationCenterofNovelSoftwareTechnologyandIndustrialization，Nanjing210000)

AbstractDeepreinforcementlearning(DRL)isanewresearchhotspotintheartificialintelligence

community．Byusingageneral—purposeform，DRLintegratestheadvantagesoftheperceptionof

deeplearning(DL)andthedecisionmakingofreinforcementlearning(RL)，andgainstheoutput

controldirectlybasedonrawinputsbytheend—to—endlearningprocess．DRLhasmadesubstantial

breakthroughsinavarietyoftasksrequiringbothrichperceptionofhigh—dimensionalrawinputs

andpolicycontrolsinceitwasproposed．Inthispaper，wesystematicallydescribethreemain

categoriesofDRLmethods．Firstly，wesummarizevalue—basedDRLmethods．Thecoreidea

behindthemistoapproximatethevaluefunctionbyusingdeepneuralnetworkswhichhave

strongabilityofperception．Weintroduceanepoch—makingvalue—basedDRLme