马尔科夫链例题整理.pptVIP

定理4.3马尔科夫链的有限维分布：练习：马氏链的状态空间I={1，2，3}，初始概率为例1其一步转移矩阵为试研究各状态间的关系，并画出状态传递图。解先按一步转移概率，画出各状态间的传递图首页2/31/41/41/31/21/20121/2图3---1由图可知状态0可到达状态1，经过状态1又可到达状态2；反之，从状态2出发经状态1也可到达状态0。因此，状态空间I的各状态都是互通的。又由于I的任意状态i(i=0，1，2)不能到达I以外的任何状态，所以I是一个闭集而且I中没有其它闭集所以此马氏链是不可约的。首页例2其一步转移矩阵为试讨论哪些状态是吸收态、闭集及不可约链。解先按一步转移概率，画出各状态间的传递图首页111/21/21/2311/2图4---24521闭集，由图可知状态3为吸收态且闭集，闭集，其中是不可约的。又因状态空间I有闭子集，故此链为非不可约链。首页3．常返态与瞬时态则称状态i为常返态则称状态i为瞬时态注“常返”一词，有时又称“返回”、“常驻”或“持久”“瞬时”也称“滑过”或“非常返”定理4定理5定理6如果i为常返态，且