工程随机过程_3_马尔可夫过程(Markov).pdf

下载文档 降价啦

32
0
约3.46万字
约 67页
2015-09-15 发布于安徽
举报
版权申诉
保障服务

工程随机过程_3_马尔可夫过程(Markov).pdf

1、本文档共67页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

第三章马尔可夫过程 (Markov) College of Science, Hohai University Stochastic Processes Markov过程是一个具有无后效性的随机过程. 无后效性: 当过程在时刻tm所处的状态为已知时, 过程在大于tm 的时刻t所处状态的概率特性只与过程在 tm 时刻所处的状态有关, 而与过程在tm 时刻之前的状态无关. (1)参数和状态都离散马氏链 (2)参数离散, 状态连续马氏序列 (3)其余皆为马氏过程. College of Science, Hohai University Stochastic Processes 马尔可夫链 1 定义 {X (t), t T }是一个s.p. (1) T={0,1,2,}, E={0,1,2, }; (2)任给正整数n, m, k 和任意非负整数 j n j n-1j 2j 1(j nm)与之相应的状态im+k, im, i , , i , i 有 jn j 2 j 1 P {X (m k ) imk | X (m) im ,X (j n ) ij n ,,X (j 1 ) ij 1 } P {X (m k) imk | X (m) im } 称{X (t), t T }为马氏链. 常记为{X (n), n=0,1,2,} . College of Science, Hohai University Stochastic Processes 2 一步转移概率  P {X (m 1) j | X (m) i} p ij (m) 称为马氏链在时刻m的一步转移概率. 易有：（1）0 p ij (m) 1; （2） p (m) 1.  ij j College of Science, Hohai University Stochastic Processes 若E={0,1, 2,}，则 p 00 (m) p 01 (m)    P1 P p 10 (m) p 11 (m)      称为马氏链在时刻m的一步转移概率矩阵。 College of Science, Hohai University Stochastic Processes 若E={0,1, 2,, k}，则 p 00 (m) p 01 (m)  p 0k (m)   P P p 10 (m) p 11 (m)  p 1k (m)  1     