人工智能 课件 第六章 强化学习.pptx

;;;;;;强化学习算法;强化学习应用;;;;强化学习基于试错与反馈，智能体在环境中交互学习，通过试错和优化最大化奖励，应用于机器人控制、游戏玩家等领域。

探索与利用平衡，探索未知领域，发现新策略；利用已有经验选最优行动，平衡两者提高性能和效率。

聚焦优化策略主流方法，用神经网络近似价值函数，追求更高效精确近似，实现多个智能体交互协作，共谋解决探索与利用平衡问题。;;;;;;动作是智能体在环境中执行的操作，如移动、感知、思维等。;奖励是智能体在执行动作后获得的反馈，可以是即时奖励或延迟奖励。奖励机制是引导智能体优化其行为的关键。;;环境;完全可观测环境;;;连续环境;非序贯环境;环境中有一个智能体即单智能体环境，有多个智能体即多智能体环境。;;状态转移模型是预测下一次智能体状态的关键，它基于当前状态和动作来模拟环境动态，为智能体提供未来状态的可能性和趋势。;策略是影响智能体动作选择的关键因素，它决定了智能体在特定状态下采取何种动作。;价值函数;基于模型的方法

无模型的方法

离线学习方法

在线学习方法

基于价值方法、优势、举例

基于策略方法;;无模型的方法;离线学习方法;;在线学习优势;;;DeepQ-network方法;基于策略方法特点;文学作品

菜品选择

商业策略

ε-greedy算法概述

ε取值策略

动作价值函数

预测

评估

控制

探索与利用的权衡

;;;实施过去最成功的商业策略，借鉴历史经验，确保业务稳健发展。;ε-greedy算法概述;ε取值策略;;制定行动策略;评估是指根据当前策略评估智能体的行为效果，在强化学习中，评估通常关注的是累积奖励，即通过一系列采取行动获得的奖励值的累加来评估智能体的表现。;控制介绍;探索与利用的权衡;马尔可夫链的提出与扩展

马尔可夫性质的定义与数学表达

马尔可夫性质的优点与局限性

马尔可夫决策过程的定义与起源

马尔可夫决策过程的核心概念

马尔可夫决策过程的应用与价值

策略在马尔可夫决策过程中的作用

马尔可夫决策模型的常用算法

马尔可夫决策过程与马尔可夫链的区别

马尔可夫链的性质

马尔可夫决策过程实例;;;马尔可夫性质优点;马尔可夫决策过程（MDP）是一种数学模型，用于描述随时间变化的决策过程，由理查德·贝尔曼于20世纪50年代提出。;;MDP应用强化学习;;;;马尔可夫链是遍历性的，即给定起始状态X(t－h)，则可以遍历整个马尔可夫链，并且每个时刻的状态转移概率都是相同的。;MDP与MC的应用;;MDP模型描述;贝尔曼方程概述

状态价值函数

动作价值函数

价值函数作用

价值函数计算法

贝尔曼期望方程

贝尔曼最优方程

贝尔曼方程算例

贝尔曼方程小结;贝尔曼方程概述;;动作价值函数定义;;价值函数定义;贝尔曼期望方程;;利用贝尔曼方程，我们计算了最优动作价值函数，并得出了相应的最优策略为“←（向左）”。这一决策基于当前状态和未来奖励的期望值，是最优的决策。;介绍强化学习系统的基本组成，包括智能体（Agent）和环境（Environment），并阐述强化学习系统类型。;介绍了强化学习系统的组成，强化学习方法类型，强化学习的数学基础——马尔可夫决策过程，分析了它与马尔可夫链之间的区别。

介绍了马尔可夫决策过程中最优策略的数学公式贝尔曼方程，通过算例说明其实现过程。;;动态规划方法

蒙特卡洛学习方法

Q学习方法

深度强化学习

本节小结;DP算法适用场景

强化学习DP方法

DP强化学习组件

DP强化学习优势

背包问题概述

01背包问题算例

动态规划求解步骤

动态规划求最优策略;;策略函数定义;强化学习中的动态规划方法包含价值函数和策略函数，价值函数用于评估状态或动作的价值，策略函数用于选择行动。;DP强化学习方法无需知道环境的精确模型，通过不断试错来学习最佳策略。;;01背包问题算例;建立二维表格，描述物品性质和背包容量；初始化表格内容，遍历物品和背包容量，更新最大价值。;动态规划求最优策略;蒙特卡洛学习方法概述

MCM在强化学习中的应用

MCM的优点

预测价值函数

样本效率与方差控制

MCMC与DMCP;;;MCM强制学习者与环境进行互动，这使得其学习到的策略更加细致和实用。;预测价值函数;样本效率与方差控制;;Q学习方法介绍

Q函数更新过程

Q-Learning方法实现流程

Q表格赋初值、迭代过程、最后得到归一化的Q表格

Q学习方法优缺点

Q学习方法应用实例;;贝尔曼方程;;Q表格赋初值;目标状态;;能够处理离散动作空间，通过Q表格存储状态-动作价值，简单易实现，适用于小型问题。;机器人导航;深度强化学习介绍

主神经网络

Q目标网络

经验池

损失函数

DBN算法实现步骤

深度置信网络算法流程

强化学习算法概述

深度强化学习