马尔科夫预测法介绍.ppt

马尔科夫预测法 ;第一节 基本原理 ;; 2、马尔科夫过程 随机过程中，有一类具有“无后效性性质”，即当随机过程在某一时刻to所处的状态已知的条件下，过程在时刻tto时所处的状态只和to时刻有关，而与to以前的状态无关，则这种随机过程称为马尔科夫过程。 即是：ito为确知,it(tto)只与ito有关，这种性质为无后效性，又叫马尔科夫假设。 ;; 3、马尔科夫链 时间和状态都是离散的马尔科夫过程称为马尔科夫链。例：蛙跳问题 假定池中有N张荷叶，编号为1，2，3,……,N，即蛙跳可能有N个状态（状态确知且离散）。青蛙所属荷叶，为它目前所处的状态；因此它未来的状态，只与现在所处状态有关，而与以前的状态无关（无后效性成立） ; ; 写成数学表达式为： P( xt+1 = j | xt = it , xt-1 = it―1,……x1 = i1) ? =P( xt+1 = j | xt = it ) 定义：Pij = P( xt+1 = j | xt = i) 即在xt = i的条件下，使 xt+1 = j的条件概率，是从 i状态一步转移到j状态的概率，因此它又称一步状态转移概率。 由状态转移图，由于共有N个状态，所以有 ; 二．状态转移矩阵 1.一步状态转移矩阵 系统有N个状态，描述各种状态下向其他状态转移的概率矩阵 P11 P12 …… P1N ?定义为 P21 P22 …… P2N : : : PN1 PN2 …… PNN 这是一个N阶方阵，满足概率矩阵性质 1） Pij ≥ 0,i,j = 1,2, ……, N 非负性性质 2） ∑ Pij = 1 行元素和为1 ,i=1,2,…N; 如： W1 = [1/4, 1/4, 1/2, 0] ? W2 = [1/3, 0, 2/3] ? W3 = [1/4, 1/4, 1/4, 1/2] ?W4 = [1/3, 1/3, -1/3,0, 2/3] 3）若A和B分别为概??矩阵时，则AB为概率矩阵。 ; 2.稳定性假设 若系统的一步状态转移概率不随时间变化，即转移矩阵在各个时刻都相同，称该系统是稳定的。 这个假设称为稳定性假设。蛙跳问题属于此类，后面的讨论均假定满足稳定性条件。 {2004/11/22} ; 3.k步状态转移矩阵 经过k步转移由状态i转移到状态j的概率记为 ? P(xt+k =j | xt = i) = Pij(k) i,j = 1,2, ……, N 定义：k步状态转移矩阵为： ? P11(k) P12(k) …… P1N(k) P = : :