强化学习入门 第二讲 基于模型强化学习.ppt

强化学习入门第二讲 郭宪 尺 机器人与信息自动化研究所 有大粤 ankai University 一周工作损告 南开大学机人与信息自动化研完所 强化学习的形式化 机器人〈观新 策略:π:S→u。常采用随机策略:π(uls) 的状 累积回报:R()=r(x)+)r(x,a) 折扣回报 值函数 环境 状态转移概率P(S+1s.a) 强化学习目标:max‖r(r)pn(r)d 最优策略:r:s→u 马尔科夫决策问题(p:四元组(SAPr)s 序贯决策问题 Nankai University 强化学习方法分类 序贯决策问题 马尔科夫决策过程MDP(APRy) (S, A, P,R,y) (S, A, P? R? Y?) 基于模型的动态规划方法 无模型的强化学习方法 策略迭代 略搜索 策略迭代 本节讲基于模型的策略迭代算法和值迭代算法 Nankai University 动态规划 动态规划是一类算法:包括离散和连续。马尔科夫决策过程(mP),贝尔曼最 动态:蕴含着序列决策 优性原理,得到贝尔曼最优化方程 规划:蕴含着优化,如线性优化,二次优化 或者非线性优化。 (s)=maxg+y)pgu、 尺 动态规划可以解决的问题 a'(S, a)=Rg+r) Pe, maxa'q'(s', a'? 1.整个优化问题可以分解成多个子优化问题 动态规划可以解决MP的问题 2.子优化问题的解可以被存储和重复利用 核心:动态规划通过值函数来迭代 构造最优解 Nankai University 策略评估( policy evaluation 给定策略π构造值函数 r(als)gr(s, a) Ur(S) 4(s, a)=Rg+y)Psg, "n(s") 尺 n(s)←s10 模型已知,方程组中只有值函数是未知数,方程 组是线性方程组。未知数的数目等于状态的数目 采用数值迭代算法 Nankai University Institute of Robotics and Automatic Information