DQN强化学习算法-秦枭喃.pdf

ThenameoftheDepartmentBeijingForestStudio

北京理工大学信息系统及安全对抗实验中心部门名称

DQN深度强化学习算法

硕士研究生秦枭喃

2020年05月31日

内容提要

•背景简介

•基本概念

•算法原理

–DeepQ-Network算法

–DeepQ-Network的调参细节

•优劣分析

•应用总结

•参考文献

2

背景简介

•预期收获

–1.复习强化学习的基本知识。

–2.深入理解DQN算法原理及其调参细节。

3

背景简介

•强化学习的概念

–强化学习是指与环境相互作用的智能体，通过反复训练，为

指定工程或项目的顺序决策问题学习最优策略。

•案例

–2016年，AlphaGoMaster击败围棋大师李世石；

–2019年1月25日，AlphaStar在《星际争霸2》中以10:1

击败了人类顶级职业玩家；

–2019年4月13日，OpenAI在《Dota2》的比赛中战胜了

世界冠军OG；

–2020年5月，王者荣耀觉悟AI实现吊打各平台主播；

4

基本概念

•基本架构

–强化学习的基本框架一般包含：智能体、环境、动作、状态、

奖励这5个部分。

•智能体：依据当前的状态来做出最优行为决策；

•动作：预先设置的行为决策；

•环境：根据输入的动作来更新下一个阶段的状态；

•状态：表征事物性质的特征；

•奖励：用于评价当前动作的好坏程度；

state

Agent

Trainaction

reward

state_nextEnvironment

+1

5

基本概念

•基本架构

–FlappyBird小游戏：障碍物以一定速度往左前行，小鸟拍打翅膀向上

或向下飞翔来避开障碍物，如果碰到障碍物，游戏就GAMEOVER！

•智能体：依据当前的状态来对小鸟进行操作；

•动作：向上或向下；

•环境：游戏的运行机制；

•状态：根据卷积神经网络提取出来的特征；

•奖励：游戏继续给正奖励，失败则给予大的负奖励；

state

Agent

Trainaction

reward