马尔可夫决策.pptxVIP

2022-8-31 设计一个回报函数，如果learning agent在决定一步后，获得了较好的结果，那么我们给agent一些回报（比如回报函数结果为正），若得到较差的结果，那么回报函数为负。比如，四足机器人，如果他向前走了一步（接近目标），那么回报函数为正，后退为负。如果我们能够对每一步进行评价，得到相应的回报函数，那么就好办了，我们只需要找到一条回报值最大的路径（每步的回报之和最大），就认为是最佳的路径。 第1页/共20页 2022-8-31 马尔可夫决策过程（MDP,Markov decision processes）是基于马尔可夫过程理论的随机动态系统的最优决策过程。它是马尔可夫过程与确定性的动态规划相结合的产物，又称马尔可夫型随机动态规划。 研究一类可周期地或连续地进行观察的随机动态系统的最优化问题。在各个时刻根据观察到的状态，从它的马尔可夫决策相关书籍允许决策（控制、行动、措施等） 集合中选用一个决策而决定了系统下次的转移规律与相应的运行效果。并假设这两者都不依赖于系统过去的历史。在各个时刻选取决策的目的，是使系统运行的全过 程达到某种最优运行效果，即选取控制（影响）系统发展的最优策略。 第2页/共20页 2022-8-31 MDP 五元组（S,A,{Psa},γ，R） S:状态集（states） A:一组动作（actions） Psa:状态转移概率 γ：阻尼系数（discount factor） R: 回报函数（reward function） S中一个状态到另一个状态的转变，需要A来 参与。Psa表示在当前s∈S状态下，经过a∈A 作用后，会转移到的其它状态的概率分布情况 第3页/共20页 2022-8-31 一个较小的MDP模型（机器人导航任务） +1 -1 1 2 3 4 3 2 1 S:11 states A={N,S,W,E} PSN(s) P(3,1)N((3,2))=0.8 P(3,1)N((4,1))=0.1 P(3,1)N((2,1))=0.1 R R((4,3))=+1 R((4,2))=-1 R(s)=-0.02 （S,A,{Psa},γ，R） 第4页/共20页 2022-8-31 MDP是如何工作的 时间0，从状态S0出发. . . 取出你在哪个地方 at state S0 选择一个动作A0决定 action a0 得到一个新状态 S1~PS0a0 循环 第5页/共20页 2022-8-31 Policy(策略) 已经处于某个状态s时,我们会以一定的策略π来选择下一个动作a的执行，然后转换到另一个状态。 π：S→A a=π（s） 值函数（value function ） Vπ（s）= E[R(S0)+γR(S1)+γ2R(S2)+γ3R(S3)+. . . | s0=s , π] 值函数是回报的加权和期望，给定π也就给定了一条未来 的行动方案，这个行动方案会经过一个个状态，而到达每 个状态都会有一定回报值，距离当前状态越近的其它状态 对方案的影响越大，权重越高。 第6页/共20页 2022-8-31 递推 Vπ（s）= E[R(S0)+γR(S1)+γ2R(S2)+γ3R(S3)+. . . ] 下一个状态值函数的期望值 然而我们需要注意的是：给定π后，在给定状态s下，a是唯一的，但A→S可能不是多到一的映射 立即回报 = R(S0)+γ（E[R(S1)+γ2R(S2)+γ3R(S3)+. . .] ） = R(S0)+γVπ（s）(s: 下一个状态) 第7页/共20页 2022-8-31 给定一个固定的策略π，我们怎么解这个等式 Vπ（s）=？ . . . . . |S|个方程，|S|个未知数 第8页/共20页 2022-8-31 +1 -1 1 2 3 4 3 2 1 0.52 0.33 0.37 +1 -0.09 -0.82 -1 -0.88 -0.83 -0.85 -1.00 1 2 3 4 3 2 1 一个具体的例子 对于给定的策略，我们可以写下这一策略的价值函数 这是一个策略，但这不是一个伟大的策略 Vπ（策略的价值函数） 第9页/共20页 2022-8-31 目的：找到一个当前状态s下，最优的行动策略π。 定义最优的V*如下： Bellman等式： （2） 第二项是一个π就决定了每个状态s的下一步动 作，执行a后，s按概率分布的回报概率和的期望 第10页/共20页 2022-8-31 定义了最优的V*，我们再定义最优的策略π*： S→A π*：实际上是最佳策略，最大化我们的收益。 选择最优的π*，也就确定了每个状态s的下一步动作a。 （3） 注意：