原创力文档- 1、本文档共103页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
武汉理工大学随机程第4章
第四章
马尔可夫链(Markov Chain)
4.1 马尔可夫链与转移概率
(Markov Chain and Probability of State Transition)
一、基本概念
定义4.0 设 {X(t) ，t ∈T }为随机过程，若
定义4.0
对任意正整数n及t t … t ，
1 2 n
P{X(t )=x ,…, X(t )=x }0 ，且条件分
1 1 n-1 n-1
布P{X(t )≤x |X(t )=x ,…, X(t )=x }=
n n 1 1 n-1 n-1
P{X(t ) ≤x |X(t )=x } ，则称{X(t) ，t
n n n-1 n-1
∈T }为马尔可夫过程。
4.1 马尔可夫链与转移概率
★若t , t , …, t 表示过去，t 表示现
1 2 n -2 n -1
在，tn表示将来，马尔可夫过程表明：
在已知现在状态的条件下，将来所处的
状态与过去状态无关。
过去 现在 将来
4.1 马尔可夫链与转移概率
马尔可夫过程通常分为三类：
(1) 时间、状态都是离散的，称为马尔
可夫链
(2) 时间连续、状态离散的，称为连续
时间马尔可夫链
(3) 时间、状态都是连续的，称为马尔
可夫过程
4.1 马尔可夫链与转移概率
对时间、状态都是离散的随机过程{Xn ，n ∈T }，
记参数集T={0, 1, 2, …}，状态空间I={0, 1, 2, …}
I
5
4
3
2
1
0 1 2 3 4 5 T
4.1 马尔可夫链与转移概率
对时间、状态都是离散的随机过程
{Xn ，n∈T }，记参数集T={0, 1, 2, …},
状态空间I={0,1,2, …}
定义4.1 若随机过程{X ，n∈T }，对任
定义4.1 n
意n∈T和i , i , …, i ∈I，条件概率
0 1 n+1
P{X =i |X =i ,X =i ,…,X =i }
n+1 n+1 0 0 1 1 n n
= P{X =i |X =i } ，
文档评论（0）