马尔可夫链-浙江大学数学系.PDF

第三章 马尔可夫链 关键词： 马尔可夫性 时齐马尔可夫链 n步转移概率 C-K方程 马氏链的有限维分布律 常返 暂留 正常返 零常返 互达 周期 不可约 平稳分布 极限分布 可逆Markov链 •1 §1 马尔可夫链的定义 例1.(随机游动) 甲乙两人游戏,每一局甲赢1元的概率为p， 输1元的概率为q 1p.假设一开始甲带了 0元钱。令S 表示n局后甲所拥有的钱数。 n 计算P{S 4 | S 1, S 1, S 2} 8 1 3 4 和P{S 4 | S 2},它们是否相等？ 8 4 •2 解：P{S 4 | S 1, S 1, S 2} 8 1 3 4 P{S S 2 | S 1, S 1, S 2} 8 4 1 3 4 3 P{S S 2} 4p q 8 4 P{S 4 | S 2} 8 4 P{S S 2 | S 2} 8 4 4 P{S S 2} 3 8 4 4p q P{S 4 | S 1, S 1, S 2} P{S 4 | S 2} 8 1 3 4 8 4 •3 Markov性 更一般地：k  1,n  n  ...  n 0 1 k1, 状态i ,i ,...i ,i, j 0 1 k1 P{S j | S i ,..., S i , S i} nk1 n0 0 nk1 k1 nk P{Snk1 j | Snk i} •4 Markov性的直观含义 : 令A {S i ,..., S i }过去 n0 0 nk1 k1 B {Snk i}现在 C {Snk1 j}将来 Markov性 : P(C| AB) P(C| B) 已知到现在为止的所有信息来预测将来, 则只与现在状态有关,与过去状态无关. •