《机器学习及其应用》课件 第六章 强化学习.pptxVIP

2023/5/19计算机应用技术研究所11机器学习Machine Learning 汪荣贵 教授合肥工业大学计算机与信息学院 2023/5/19计算机应用技术研究所2第6章 强化学习 2023/5/19 基本强化学习2 示例强化学习3 强化学习概述14 本章学习内容 2023/5/19计算机应用技术研究所4强化学习概述 2023/5/19计算机应用技术研究所5 强化学习概述 强化学习基本知识 马尔科夫模型 强化学习计算方式 强化学习概述 强化学习主要通过不断获取外部环境反馈信息的方式实现对连续多步自动决策问题的优化求解，所要解决的问题形式和所涉及的基本概念与前述监督学习和无监督学习方式都有着较大差异。 强化学习的具体过程主要是智能体与其外部环境之间进行不断地动态交互过程，通常采用马尔可夫模型表示这种动态交互过程并通过策略迭代、值迭代和策略搜索等方式进行优化计算，获得最优的连续性多步决策。 72023/5/19 强化学习引入 序贯决策过程是在游戏博弈或对弈等应用场合完成任务时需要连续进行多步决策的过程； 序贯决策问题是如何让计算机像人类一样能够自动进行合理的序贯决策。 强化学习的目标是通过机器学习方式有效解决序贯决策问题，或者说通过机器学习方式实现对连续多步自动决策问题的优化求解。 82023/5/19 强化学习特点 区别于监督学习以明确的样本标签作为经验数据或先验知识直接告诉模型该如何完成指定任务，强化学习主要通过学习先验知识寻找最优决策过程。 强化学习使用的经验数据或先验知识则较为模糊，通常是由智能体所处环境提供的某种反馈信息。 92023/5/19 强化学习构成 如上图所示：强化学习系统主要包括智能体、动作、系统环境 、状态、奖励或反馈这五个基本要素。 102023/5/19 强化学习构成 智能体是行为的执行者，在实际应用中可能是一个游戏玩家、一个棋手或一辆自动驾驶的汽车等； 动作是智能体发出的行为，例如在自动驾驶任务中汽车向右转弯便是一个动作； 系统环境是智能体所处的外部环境，也是智能体的交互对象，例如在自动驾驶任务中系统环境便是实际的交通环境。 112023/5/19 强化学习构成 状态是智能体当前所处的可观察状态，如自动驾驶任务中的汽车速度、汽车与路边的距离等。 奖励或反馈是系统环境能够对智能体的行为做出的某种合理评价。例如可将汽车自动驾驶的安全行驶里程数作为反馈信息。 强化学习的目标是使得智能体的动作满足某一任务需求，例如希望自动驾驶汽车能够通过一系列自动操作安全驾驶到目的地。 122023/5/19 强化学习模型 通过能否建立环境模型，将强化学习划分为两种：有模型强化学习和无模型强化学习。 有模型强化学习：强化学习通过建立环境模型来对智能体和系统环境进行模拟，并且系统环境满足已知且有限。 132023/5/19 强化学习模型 系统环境有限指的是动作集合，奖励集合，状态集合为有限集。 系统环境已知指的是在智能体选择某一动作时环境给予的奖励值为已知，并且在动作执行后环境的状态改变为已知。 不能或难以建立环境模型的强化学习称为无模型强化学习。 142023/5/19 值函数引入 值函数描述了从当前动作开始到将来的某一个动作执行完毕为止所获累计奖励值，故值函数是对多次连续动作满意度的度量。 由于强化学习的目的是使得智能体一系列的动作满足任务需求，故通常将值函数作为强化学习优化计算的目标函数。 152023/5/19 面临的挑战 强化学习的目的是使得智能体一系列的动作满足任务需求，能够综合考虑一段时间内智能体的相关动作是否能得到最优的回报，根据累计回报确定最优策略。然而，强化学习在解决序贯决策问题也面临着如下挑战： （1）收敛速度慢 （2）探索未知和利用已知的平衡 （3）时间权重分配 162023/5/19 收敛速度慢 收敛速度慢与维数灾难问题有着密切的关系。多数强化学习算法收敛到最优解的理论保障都是建立在任意状态都能被无限次访问到这个前提条件之上。 当问题环境比较复杂或出现维数灾难问题时，智能体的探索策略不能保证每个状态都能在有限的时间内被访问足够多的次数，因而智能体没有足够经验能够在这些较少遇到的状态下做出正确决策，导致算法的收敛速度较慢。 172023/5/19 探索平衡 强化学习会经常面临利用已经学到知识还是对未知知识进行探索的平衡难题。产生这个问题的根源在于难以权衡长期利益和短期利益。 一方面为了获得较高的奖赏，智能体需要利用学到的经验在已经探索过的动作中贪心地选择一个获益最大的动作； 另一方面，为了发现更好的策略，智能体需要扩大探索范围，尝试以前没有或较少试过的动作。若不能权衡好两者的关系，智能体就处于进退两难