原创力文档- 1、本文档共30页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
马尔可夫链 应用分析举例
例 1：赌徒输光问题：
两个赌徒进行一系列赌博，在每一局赌博中甲获胜的概率是 p ，乙获胜的概率是 1-p，
每一局后，负者要付一元给胜者。如果起始时甲有资本 a 元，乙有资本 b 元，a+b=c，两人
赌博直到甲输光或乙输光为止。
求甲输光的概率。
解：
第 n 时刻甲的资本为ξ，状态空间是 I ：{ }
0,1,2, Lc ，c a + b, a ≥ 1, b ≥ 1。
状态转换图为：
这个问题实际是带有两个吸收壁的随机游动问题
问题是从a 点出发，到达 0 状态的概率，即被 0 状态吸收的概率。
设0 j c ，uj 为质点从j 点出发到 0 状态的概率。由全概率公式有
uj pu j +1 + quj −1
边界条件为：
u 1
0
u 0
c
构造：
p + q u pu + qu
( ) j j +1 j −1
p u − u q u − u
( j j +1 ) ( j −1 j )
q
(u − u +1 ) (u −1 − u )
j j j j
p
定义
q
(u − u ) d , (0 ≤ j c), r ，
j j + 1 j
p
相应的差分方程是：
2 j
dj rdj r dj L r d , (0 j c)
− 1 − 2 0
设r ≠ 1，
u u − u
0 0 c
c − 1 c − 1 c − 1
i
∑(ui − ui + 1) ∑di ∑r d0
i 0 i 0 i 0
c
1− r
d
0
1− r
u u − u
j j c
c − 1 c − 1 c − 1
文档评论（0）