[随机过程第5讲马尔科夫链定义和性质.pptVIP

例：无限制随机游动问题 质点在直线上做随机游动。如某一时刻质点位于ｉ，则下一步质点以概率ｐ向右移动一格到达ｉ＋１。或以概率１－ｐ＝ｑ向左移一格到达ｉ－１。若以?(n) 表示时刻ｎ时质点的位置，则{?(n),n=0,1,2,…}是一个随机过程。而且当?(n) =i时， ?(n+1), ?(n+2),… ?(n+k),…等ｎ时刻后质点所处的状态只与　　 ?(n)=i有关，而与质点在ｎ以前是如何到达ｉ的完全无关。所以它是一个齐次马尔可夫链，其状态空间为I: {…,-2,-1,0,1,2,…}, 而其一步转移概率为： * 郑州大学信息工程学院 * Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 下面求它的ｎ步转移概率pij(n)。已知每次转移只有两种可能，向左的概率为ｑ，向右的概率为ｐ，而ｎ次转移的结果是从ｉ到ｊ。如果ｎ次转移中向右m1次，向左m2次，则 * 郑州大学信息工程学院 * Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose