随机过程第5讲马尔科夫链定义和性质).pptVIP

例：无限制随机游动问题 质点在直线上做随机游动。如某一时刻质点位于ｉ，则下一步质点以概率ｐ向右移动一格到达ｉ＋１。或以概率１－ｐ＝ｑ向左移一格到达ｉ－１。若以?(n) 表示时刻ｎ时质点的位置，则{?(n),n=0,1,2,…}是一个随机过程。而且当?(n) =i时， ?(n+1), ?(n+2),… ?(n+k),…等ｎ时刻后质点所处的状态只与　　 ?(n)=i有关，而与质点在ｎ以前是如何到达ｉ的完全无关。所以它是一个齐次马尔可夫链，其状态空间为I: {…,-2,-1,0,1,2,…}, 而其一步转移概率为： * 郑州大学信息工程学院 * 下面求它的ｎ步转移概率pij(n)。已知每次转移只有两种可能，向左的概率为ｑ，向右的概率为ｐ，而ｎ次转移的结果是从ｉ到ｊ。如果ｎ次转移中向右m1次，向左m2次，则 * 郑州大学信息工程学院 * 例：有限制的随机游动问题（带有两个吸收壁的随机游动） * 郑州大学信息工程学院 * 随机游动的状态空间为I：{0，1，2， a}，0、 a 两状态为吸收态。该过程仍是齐次马尔可夫链，它的一步转移概率矩阵为 例：赌徒输光问题 两个赌徒甲、乙进行一系列赌博。在每一局中甲获胜的概率为p ，乙获胜的概率为q，p+q=1，每一局后，负者要付一元给胜者。如果起始时甲有资本a 元，乙有资本b 元，a+b=c元，两人赌博直到甲输光或乙输光为止，