马尔科夫链例题整理.pptVIP

定理4.3 马尔科夫链的有限维分布： 练习：马氏链的状态空间I={1，2，3}，初始概率为 例1 其一步转移矩阵为 试研究各状态间的关系，并画出状态传递图。 解 先按一步转移概率，画出各状态间的传递图 首页 2/3 1/4 1/4 1/3 1/2 1/2 0 1 2 1/2 图3---1 由图可知 状态0可到达状态1，经过状态1又可到达状态2；反之，从状态2出发经状态1也可到达状态0。 因此，状态空间I的各状态都是互通的。 又由于I 的任意状态i (i = 0，1，2)不能到达I 以外的任何状态， 所以I是一个闭集 而且I 中没有其它闭集 所以此马氏链是不可约的。 首页 例2 其一步转移矩阵为 试讨论哪些状态是吸收态、闭集及不可约链。 解 先按一步转移概率，画出各状态间的传递图 首页 1 1 1/2 1/2 1/2 3 1 1/2 图4---2 4 5 2 1 闭集， 由图可知 状态3为吸收态 且 闭集， 闭集， 其中 是不可约的。 又因状态空间I有闭子集， 故此链为非不可约链。 首页 3．常返态与瞬时态 则称状态i为常返态 则称状态i为瞬时态 注 “常返”一词，有时又称“返回”、“常驻”或“持久” “瞬时”也称“滑过” 或“非常返” 定理4 定理5 定理6 如果i为常返态，且 ，则j也是常返态。 定理7 所有常返态构成一个闭集 5．正常返态与零常返态 平均返回时间 从状态i出发，首次返回状态i的平均时间 称为状态i平均返回时间. 根据的值是有限或无限，可把常返态分为两类： 设i是常返态， 则称i为正常返态； 则称i为零常返态。 首页 例 其一步转移矩阵如下，是对I进行分解。 I可分解为：C1={2，3, 4} C2={5，6,7} 两个闭集及N={1} ，即I=N+ C1+ C2 用极限判断状态类型的准则 （2）i是零常返态 （3）i是正常返态 （1）i是瞬时态 且 且 首页 例3 转移矩阵 试对其状态分类。 解 按一步转移概率， 画出各状态间的传递图 2 1/4 1 1 1/4 1/4 1 1/4 1 4 3 首页 从图可知，此链的每一状态都可到达另一状态，即4个状态都是相通的。 考虑状态1是否常返， 于是状态1是常返的。 又因为 所以状态1是正常返的。 此链所有状态都是正常返的。 2 1/4 1 1 1/4 1/4 1 1/4 1 4 3 三、状态的周期与遍历 1．周期状态 对于任意的 ，令 其中GCD表示最大公约数 则称 为周期态， 则称 为非周期态。 定理11 2．遍历状态 若状态i是正常返且非周期，则称i为遍历状态。 1 1 1/2 1/2 1/2 3 1 1/2 图4---2 4 5 2 1 例4 设马氏链的状态空间I = {0,1,2,…}，转移概率为 试讨论各状态的遍历性。 解 根据转移概率作出状态传递图 … 1/2 1/2 1/2 1/2 1/2 1/2 0 1 2 1/2 图4---4 3 1/2 首页 从图可知，对任一状态 都有 ， 故由定理可知，I 中的所以状态都是相通的， 因此只需考虑状态0是否正常返即可。 … 故 从而0是常返态。 又因为 所以状态0为正常返。 又由于 故状态0为非周期的 从而状态0是遍历的。 故所有状态i都是遍历的。 … 1/2 1/2 1/2 1/2 1/2 1/2 0 1 2 1/2 图4---4 3 1/2 1/3 1/2 1 1/3 1/2 1 1/3 1 2 3 4 例5．设马氏链的状态空间I={1，2，3，4}，其一步转移矩阵为 解 试对其状态分类。 按一步转移概率，画出各状态间的传递图 它是有限状态的马氏链，故必有一个常返态，又链中四个状态都是互通的。因此，所有状态都是常返态，这是一个有限状态不可约的马氏链。 可继续讨论是否为正常返态 可讨论状态1 1/3 1/2 1 1/3 1/2 1 1/3 1 2 3 4 状态1是常返态 状态1是正常返态 所以，全部状态都是正常返态 首页 1/3 1/2 1 1/3 1/2 1 1/3 1 2 3 4 例1 其一步转移矩阵为 试证此链具有遍历性，并求平稳分布和各状态的平均返回时间 解 由于 首页 所以 因此，该马氏链具有遍历性。 解得 所以马氏链的平稳分布为 X 1 2 3 各状态的平均返回时间 例2 设有6个球（其中2个红球，4个白球）分放于甲、乙两个盒子中，每盒放3个，今每次从两个盒中各任取一球并进行交换，以 表示开始时甲盒中红球的个数， （