应用随机过程第16章- 龚光鲁版.pdfVIP

龚光鲁,钱敏平著 应用随机过程教程 – 与在算法和智能计算中的应用 清华大学出版社, 2004 第16章 离散状态的Markov控制与决策过程简介 (Controlled Markov Process, Markov Decision Process, MDP) 1例 1. 1随机决策模型的简单例子 定义１６.１ 随机决策模型的对象是可以控制的随机系统,人们可以选取控制决策, 以改变发展过程的路径.在任意固定时刻,系统随机地处在S {1,2,L,N } 中的某个状态, 而在策略取定为a 的情况下系统的发展是按照一个随机矩阵 P(a) 作为转移概率阵而变化. 这就称为一个Markov 决策过程． 从下面的简单例子，可以得到一些直观的认识。 例１６．２ 设某个经营系统总处在1,2,3三种状态之一．假定在每个整值时 刻可选择两种不同的动作之一：a （1）或a （2），而在采取动作a （1）或a （2）时，状态间的转移矩阵 分别为 1 1 1 1 0 0 2 2 2 2 1 1 1 1 P(a )=0 ,P(a )= 0 . (1) 2 2 (2) 2 2 1 1 1 1 0 0 2 2 2 2 假定开始时（即时间n 0 时）该系统以相等的可能性处在这三个状态之一 ,即初始分布 为 1 1 1 , , .又设处在状态i 时,采取动作a(1) 能得到报酬为g (i, a(1) ) 2i ,而处在状态i 时, 3 3 3 2 1 采取动作a(2) 能得到报酬为g (i, a(2) ) i .我们要在各个时刻,根据历史状况,有目的 2 地选取动作a 或a ,使在时间区段0 n m 内得到的平均累积报酬最大．这里，动作是 (1) (2) 历史状况的函数．从时刻n 的历史状况到采取的动作的对应（即函数），称为时刻n 采取的 策略．各个时刻采取的策略合起来，称为一个策略．我们要选取一个策略，使在时间区段 0 n m 内得到的平均累积报酬最大． 将在时刻n 采取的动作记为a ,那么它只能a 或a 之一.于是转移矩阵 n (1) (2) 1 1 1 P(an ) (p ij (an )) i,j N 有确切的含义.这样,由初始分布m0 =(m 1 ,m 2 ,m 3 )=(, , ) 3 3 3 及转移矩阵列{ P(an )}决定了一个3个状态的非时齐的Markov链{xn : n 0} ．x n 代表系