北大随机过程课件：第 2 章 第 5 讲 马尔可夫链应用分析举例.pdfVIP

马尔可夫链 应用分析举例 例 1：赌徒输光问题： 两个赌徒进行一系列赌博，在每一局赌博中甲获胜的概率是 p ，乙获胜的概率是 1-p， 每一局后，负者要付一元给胜者。如果起始时甲有资本 a 元，乙有资本 b 元，a+b=c，两人 赌博直到甲输光或乙输光为止。 求甲输光的概率。 解： 第 n 时刻甲的资本为ξ，状态空间是 I ：{ } 0,1,2, Lc ，c a + b, a ≥ 1, b ≥ 1。 状态转换图为： 这个问题实际是带有两个吸收壁的随机游动问题 问题是从a 点出发，到达 0 状态的概率，即被 0 状态吸收的概率。 设0 j c ，uj 为质点从j 点出发到 0 状态的概率。由全概率公式有 uj pu j +1 + quj −1 边界条件为： u 1 0 u 0 c 构造： p + q u pu + qu ( ) j j +1 j −1 p u − u q u − u ( j j +1 ) ( j −1 j ) q (u − u +1 ) (u −1 − u ) j j j j p 定义 q (u − u ) d , (0 ≤ j c), r ， j j + 1 j p 相应的差分方程是： 2 j dj rdj r dj L r d , (0 j c) − 1 − 2 0 设r ≠ 1， u u − u 0 0 c c − 1 c − 1 c − 1 i ∑(ui − ui + 1) ∑di ∑r d0 i 0 i 0 i 0 c 1− r d 0 1− r u u − u j j c c − 1 c − 1 c − 1