二节离散时间马尔可夫链的几个质资料讲解.pptVIP

第二节离散时间马尔可夫链的几个性质 1 互通性 2 周期性 3 常返性 4 遍历性 1 .1互通性 若对某一n?1，有 ，则称系统X可以自状态I到达状态j，并记i?j。如果i?j，并且j?i，则状态i与j互通，并记为i?j 若对一切n?1，有 或 ，或两式均成立，则称状态i与j不通 （书 第18页） 1 .2互通性 互通性的性质 自反律： i ? i (假定每个状态0步转移到自己) 对称律： i ? j 当且仅当j ? i 传递律： i ? k 且k ? j，则i ? j i j i与j不通 i k j i，j，k互通 1.3互通性举例 考察具有两个吸收壁的随机游动，E＝{0,1,2,3,…,a}它的一步转移概率矩阵为 a 0 p q=(1-p) i i-1 i+1 1.5不可约 若一个马氏链的任意两个状态都互通，则此马氏链称为不可约马氏链；否则称为可约的马氏链。 不可约的马氏链： 在排队论中，用到的马尔可夫链大多是不可约的 0 1 1 1 0 1 1 2 1/2 1/2 1/3 2/3 （书 第24页） 1.6不可约 可约的马氏链： 2，3 闭集 4 闭集(吸收态) 1 1/3 0 1 1 2 3 1 2/3 1/3 1 0 1 1 2/3 2 2 .1周期性 定义 若记di为数集{n: n?1, }的最大公约数，则称它为状态i