排队论大学课件3-离散时间的马尔科夫链.pptVIP

* 第二节离散时间马尔可夫链的几个性质 1 互通性 2 周期性 3 常返性 4 遍历性 * 1 .1互通性 若对某一n?1，有 ，则称系统X可以自状态I到达状态j，并记i?j。如果i?j，并且j?i，则状态i与j互通，并记为i?j 若对一切n?1，有 或 ，或两式均成立，则称状态i与j不通 （书 第18页） * 1 .2互通性 互通性的性质 自反律： i ? i (假定每个状态0步转移到自己) 对称律： i ? j 当且仅当j ? i 传递律： i ? k 且k ? j，则i ? j i j i与j不通 i k j i，j，k互通 * 1.3互通性举例 考察具有两个吸收壁的随机游动，E＝{0,1,2,3,…,a}它的一步转移概率矩阵为 a 0 p q=(1-p) i i-1 i+1 * 1.4互通性举例 考察具有两个吸收壁的随机游动，E＝{0,1,2,3,…,a}它的一步转移概率矩阵为 0 1 i-1 i i+1 a-1 a …. …. q q q q q q q p p p p p p p 状态转移图 1 1 * 1.5不可约 若一个马氏链的任意两个状态都互通，则此马氏链称为不可约马氏链；否则称为可约的马氏链。 不可约的马氏链： 在排队论中，用到的马尔可夫链大多是不可约的 0 1 1 1 0 1 1 2 1/2 1/2 1/3 2/3 （书 第24页） * 1