随机漫步深入解析马尔可夫链原理.pptVIP

马尔可夫过程的四种(sìzhǒnɡ)类型马尔可夫链时间、状态都离散马尔可夫序列(xùliè)时间离散、状态连续纯不连续马尔可夫过程时间连续、状态离散连续马尔可夫过程（或扩散过程）时间、状态都连续第1页/共39页第一页，共40页。第1页

1马尔可夫链的概念(gàiniàn)及转移概率[定义]设有随机过程{Xn,n?T}，若对于任意的整数n?T和任意的i0,i1,…,in+1?I，条件概率满足

则称{Xn,n?T}为马尔可夫链，简称马氏链。第2页/共39页第二页，共40页。第2页

马氏性

（无后效性）马尔可夫链的统计特性(tèxìng)由如下条件概率所决定：马尔可夫链的n+1维联合(liánhé)概率分布：第3页/共39页第三页，共40页。第3页

转移(zhuǎnyí)概率pij(n)不但与状态i,j相关，而且与时刻(shíkè)n相关。当pij(n)与时刻(shíkè)n无关时，表示马尔可夫链含有平稳转移概率。[定义]称条件概率

为马尔可夫链{Xn,n?T}在时刻n的一步转移概率，其中i,j?I，简称为转移概率。第4页/共39页第四页，共40页。第4页

齐次马尔可夫链[定义]若对任意的i,j?I，马尔可夫链{Xn,n?T}的转移(zhuǎny