第九章 - 对抗生成模型及强化学习.pptxVIP

第九章强化学习与生成对抗网络

本章要点强化学习的基本思路强化学习的分类生成对抗模型生成对抗网络的数学原理生成对抗网络进行图像融合的应用

本章导读强化学习和生成对抗网络都是与传统的监督与无监督学习都有一定区别的两类算法。强化学习类算法强调如何基于环境而行动，以取得最大化的预期利益；生成对抗网络属于无监督学习，与强化学习较为相似，是一种常用于学习类别特征的神经网络结构。

目录Contents9.1强化学习概述9.1.1强化学习基础9.1.2强化学习分类9.1.3强化学习的应用9.2生成对抗网络概述9.2.1生成对抗模型9.2.2生成对抗模型的数学原理9.2.3生成对抗网络的实际应用9.3实战

9.1强化学习概述分类基础应用

9.1.1强化学习基础1.强化学习的定义一种基于环境的反馈而决定下一步行动的决策，并且在整个逻辑动作中通过不断的试验，与环境进行正逆向反馈，从而达到特殊目的的一种机器学习行为。

9.1.1强化学习基础2.强化学习数学模型主要包含环境(Environment)、代理(Agent)、状态(State)、动作(Action)、奖励(Reward)等基本概念构成。一个机器人在环境中会他各种动作，环境会对动作做出反馈，同时给Agent进行奖励或惩罚用以改变机器人的状态。

9.1.1强化学习基础2.强化学习数学模型基本学习场景如下图所示：

9.1.1强化学习基础2.强化学习数学模型上述的场景可以描述成为一个马尔科夫决策过程MDPs(MarkovDecisionProcess)。通俗地讲，就是一个智能体机器人（Agent）采取行动（Action）从而改变自己的状态（State）并获得奖励（Reward），同时与环境（Environment）发生交互的循环过程。

9.1.1强化学习基础3.强化学习的特点强化学习作为机器学习中的一种特殊分类，独立于监督学习、无监督学习、半监督学习之外。它的机制和主要关注点，决定了它逻辑的简单和优秀的效果。强化学习和上述提到的三种学习方式相比其主要特点在于：强化学习训练时，需要环境给予反馈，以及对应具体的反馈值。

9.1.1强化学习基础3.强化学习的特点强化学习主要是指导训练每一步如何决策的参数，采用什么样的行动可以完成特定的目的或者使收益最大化，关注点从样本转移到了自身策略和环境。所以我们把强化学习的特点总结为：通过试验和环境反馈进行学习、延迟反馈、时间维度的重要性以及策略的连续性和影响延续性。

9.1.1强化学习基础4.强化学习的理解假设我们有一个4×4的单元格，其中有个单元是号里国王，障碍单元格是怪兽龙，目标单元格是宝藏。在游戏的每个回合,可以往上、下、左、右四个方向移动国王，碰到怪物游戏失败，直到国王找到金币，游发结東,我们分析在这个环境中，强化学习要定义一些基本概念来完成对问题的数学建模。

9.1.1强化学习基础4.强化学习的理解其中我们需要考虑的内容和逻辑包括以下内容：1：所有动作的集合（Action），记作A（在这里是有限的4种）。即A=小勇士在每个单元格可以行走的方向，即{上、下、左、右}。2：状态（State）：所有状态的集合。S为棋盘中每个单元格的位置坐标{（x，y）；x={1，2，3，4}；y={1，2，3，4}，小勇士当前位于（1，1），宝藏位于（4，3），怪兽龙位于(2,3)。

9.1.1强化学习基础4.强化学习的理解3：奖励(Reward)：小勇士可能收到的奖励，一般是一个实数，记作r。对于本题，如果小勇士每移动一步且不拿到宝藏，定义r=-1；如果得到宝藏，r=100，游戏获胜，如果碰到怪物，，游戏重新开始。4：时间（Time）（=1，2，3...）：在每个时间点t，机器人会发出一个动作a，收到环境给出的收益r，同时环境进入到一个新的状态s。

9.1.1强化学习基础4.强化学习的理解5：状态转移（Process）：S×A→S满足Pa(st|st-1,at)=Pa(st|st-1,at,st-2,at-1,……)，这里的概率公式说明了，当前状态到下一状态的跃迁，只与当前状态以及当前动作有直接关系。6：累计收益：从当前时刻0开始累计到当前时刻的收益总和为公式。

9.1.1强化学习基础4.强化学习的理解于是我们可以根据上述规则进行迭代，最优策略迭代过程如下图所示：

9.1.2强化学习分类强化学习主要可以分为Model-Free和Model-based两大类。从分支看Model-Free分支又可以分成基于PolicyOptimization和Q-learning两种类型。Model-based分支