电子科技大学随机过程覃思义第六章sjgc介绍.ppt

*电子科技大学 §6.3 齐次马氏链状态的分类(二) 三、状态间的关系 定义6.3.8 称自状态i 可达状态 j ,记为 称状态i 与状态 j 互通， 注 自i 可达j 表示从节点i 出发，存在一条路径可到达节点 j . 引理2 可达具有传递性 i j … i j k … … 由C－K方程 引理3 若补充定义 则互通关系是状态空间E上的一个等价关系, 即满足 1) 自反性(律) 2) 对称性 当且仅当 3) 传递性 EX.4 设马氏链的状态空间E={1,2,3,4,5}, 其一步转移矩阵为 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 1/2 1/2 1/4 3/4 3 4 5 1 1/2 1/2 1 其一步状态转移图如下 1 2 1/2 1/2 1/4 3/4 3 4 5 1 1/2 1/2 1 按互通性可将E 分解为 E={1, 2}∪{ 3, 4, 5}=C1∪C2 其中，Ci中的状态是互通的, 质点运动一旦位于某一类，以后它的状态都保持在此类. 不相交集 EX.5 设马氏链的状态空间E={0,1,2, …, a}, 其一步转移矩阵为 (0<q<1, 0<p<1 ) 状态转移图为 0 1 a－1 a p q 1 1 … 有 状态可由第二类到达第一类或第三类, 反之不真. 按互通性有 E={0}∪{1,2, …, a－1}∪{a} =C1∪C2∪C3 0 1 a－1 a p q 1 1 … 定理6.3.5 设状态i 和j 互通, 则 1) i 和j 同为非常返的； 2) i 和j 同为零常返的； 3) i 和j 同为正常返非周期的(遍历状态的)； 4) i 和j 都是正常返有周期的, 具有相同周期. 结论 互通状态具有相同类型 续EX.3 醉汉问题 酒吧 家 1 2 3 4 5 醉汉在街上徘徊, 在每一个街口以1/3的概率停下, 以1/3的概率向前或向后. 若他又返回酒吧或到家门, 不再游动 . 状态转移图为 1 2 3 4 5 1 1/3 1/3 1/3 1 1/3 1/3 1/3 1/3 1/3 1/3 有限次首达状态“3”的概率分别为 先讨论状态“3”的类型. 2 3 4 1/3 1/3 1/3 1/3 1/3 1/3 1/3 状态3 的最终返回概率为 状态3是非常返的. 状态3是非周期的. 故2 和4 都是非周期非常返的，且 E={1}∪{5}∪{2, 3, 4}. 关于常返状态有下结论： 定理6.3.6 设i , j∈E, 且i ≠j，则 1）若状态i 和j 互通, i 是常返态,则j 也是常返态； 2）若状态i 和j 互通, 且 j 是常返态, 则 3）若状态i 是常返的, 四、闭集、状态空间的分解 定义6.3.9 设E 是状态空间, 称C为一个闭集. 一步转移概率 注 C是闭集的充要条件是对任意的 i∈C 和 证明 仅需证必要性，设C是闭集， n =1 时结论显然成立； 假设n=k 时, 对任意 直观解释 自C 内部不能到达C的外部. C E 如果质点运动状态进入C,将永远停留在C 内. 续EX.4 E={1,2}∪{3,4,5}=C1∪C2 E、C1和C2都是闭集. 1 2 1/2 1/2 1/4 3/4 3 4 5 1 1/2 1/2 1 续EX.5 有E={0}∪{1,2, …, a－1}∪{a} =C1∪C2∪C3 E、C1、C3 都是闭集，而C2不是闭集. 0 1 a－1 a p q 1 1 … 整个状态空间构成一个闭集. 定义6.3.10 若状态的单元素集{i }是闭集,称 i 是吸收状态. 续EX.5 有E={0}∪{1,2, …, a－1}∪{a},状态“0”和状态“a”是吸收态. 定义6.3.11 若闭集C 中不再含有非空的闭真子集,称C是不可约的(或不可分的,最小的). 若马氏链的状态空间E 是不可约的, 称此马氏链是不可约马氏链. 定理6.3.7 马氏链所有常返态构成一闭集. 证明 设i为常返态 从常返态出发, 只能到达常返态. 故常返态集是闭集. 推论 不可约马氏链或者没有非常返态, 或者 没有常返态. 引理4 2）i 为吸收状态 引理5 2) C(i) 是闭集, 则必不可约. 证 1)显然 由闭集定义知k∈C; 任取j∈C, 若j→k, 不会外出 从而C=C(i ), 即C(i )是不可约的. 则k∈C， C