2组-学术报告PPT-对抗环境强化学习-王逸洲-2019.12.08.pdf

ThenameoftheDepartmentBeijingForestStudio

北京理工大学信息系统及安全对抗实验中心部门名称

对抗环境强化学习算法

硕士研究生王逸洲

2019年12月08日

内容提要

•背景简介

•基本概念

–强化学习

–Q-Learning

–深度Q网络

•算法原理

•优劣分析

•应用总结

•参考文献

2

背景简介

•预期收获

–1.了解强化学习相关基础知识

–2.理解Q-Learning、了解深度Q网络算法原理

–3.了解对抗环境强化学习对不平衡数据学习的改进效果

3

基本概念

•强化学习

–主要包含四个元素，智能体(Agent)，环境状态(State)，

行动(Action)，奖励(Reward)

–本质是解决decisionmaking问题，即自动进行决策，

并且可以做连续决策

•在每个时间步(timestep)，智能

体在当前状态根据观察来确定下一

步的动作。

•策略：状态和动作之间的映射关系，

记作：A=π(S)

4

基本概念

•强化学习与监督学习、无监督学习

–监督学习与强化学习

•有监督学习从已有标记的训练集中学习

•样本特征-state、标签-action

•有监督学习不能学习交互的情景

–无监督学习与强化学习

•无监督学习从未标记样本中发现隐藏结构

•强化学习的目的是最大化奖励信号

–强化学习特点

•其中没有监督者，只有一个reward信号

•反馈是延迟的，不是立即生成的

•agent的行为会影响之后一系列的data

5

基本概念

•ValueBased

–关注点是找到最优奖励总和

–输出的是所有动作的价值,

根据最高价值来选动作，不

能选取连续的动作

•PolicyBased

–关注点是找到最优策略

–通过分析所处的环境,直接

输出下一步要采取的各种动

作的概率,然后根据概率采

取行动

6

基本概念

•回报(Return)

–为最大化长期累积奖赏，定义当前时刻后的累积奖赏为回报

(Return)

–考虑折扣因子(避免时间过长时，总回报无穷大)：

•值函数