马尔可夫链的K-C方程.pptVIP

随机信号分析 主讲：杜青松 马尔可夫链的转移概率和切普曼-柯尔莫哥洛夫方程 上节课主要内容回顾 ★马尔可夫过程的一般概念 ★马尔可夫过程的统计特性 ★马尔可夫链的定义 本节课主要学习内容 ★马尔可夫链的一步转移概率 ★马尔可夫链的m步转移概率 ★切普曼－柯尔莫哥洛夫方程 马尔可夫链的一步转移概率 　　由马尔可夫链的定义以及“马尔可夫过程的任意有限维概率分布均可由它的初始分布和二维条件分布来确定”这个性质可知 　　可见，为了描述马尔可夫链X(n)的n维概率分布，最重要的是条件概率 马尔可夫链的一步转移概率 　　称此条件概率为X(n)在时刻k时的一步转移概率，记为 　　它表示在时刻k时X(k)取i值的情况下，在下一时刻k+1时X(k+1)取j的概率。 马尔可夫链的一步转移概率 马尔可夫链的一步转移概率 　　显然pij(k)应具有以下两个性质： 　　 马尔可夫链的m步转移概率 　　类似地，还可以定义m步转移概率 　　它代表X(n)在时刻n时的状态为i条件下，经过m步转移到达状态j的条件概率。 马尔可夫链的m步转移概率 马尔可夫链的m步转移概率 　　显然有 　　当m=1时，它就是一步转移概率。 切普曼－柯尔莫哥洛夫方程 　　马尔可夫链X(n)的m步转移概率满足如下的切普曼－柯尔莫哥洛夫方程，即 切普曼－柯尔莫哥洛夫方程 　　不失一般性，设X(n)的状态空