马尔科夫链例题整.pptVIP

定理4.3 马尔科夫链的有限维分布： 练习：马氏链的状态空间I={1，2，3}，初始概率为 例1 其一步转移矩阵为 试研究各状态间的关系，并画出状态传递图。 解 先按一步转移概率，画出各状态间的传递图 首页 2/3 1/4 1/4 1/3 1/2 1/2 0 1 2 1/2 图3---1 由图可知 状态0可到达状态1，经过状态1又可到达状态2；反之，从状态2出发经状态1也可到达状态0。 因此，状态空间I的各状态都是互通的。 又由于I 的任意状态i (i = 0，1，2)不能到达I 以外的任何状态， 所以I是一个闭集 而且I 中没有其它闭集 所以此马氏链是不可约的。 首页 例2 其一步转移矩阵为 试讨论哪些状态是吸收态、闭集及不可约链。 解 先按一步转移概率，画出各状态间的传递图 首页 1 1 1/2 1/2 1/2 3 1 1/2 图4---2 4 5 2 1 闭集， 由图可知 状态3为吸收态 且 闭集， 闭集， 其中 是不可约的。 又因状态空间I有闭子集， 故此链为非不可约链。 首页 3．常返态与瞬时态 则称状态i为常返态 则称状态i为瞬时态 注 “常返”一词，有时又称“返回”、“常驻”或“持久” “瞬时”也称“滑过” 或“非常返” 定理4 定理5 定理6 如果i为常返态，且