马尔可夫链的KC方程.ppt

编辑ppt 随机信号分析 马尔可夫链的转移概率和切普曼-柯尔莫哥洛夫方程 上节课主要内容回顾 ★马尔可夫过程的一般概念 ★马尔可夫过程的统计特性 ★马尔可夫链的定义 本节课主要学习内容 ★马尔可夫链的一步转移概率 ★马尔可夫链的m步转移概率 ★切普曼－柯尔莫哥洛夫方程 马尔可夫链的一步转移概率 　　由马尔可夫链的定义以及“马尔可夫过程的任意有限维概率分布均可由它的初始分布和二维条件分布来确定”这个性质可知 　　可见，为了描述马尔可夫链X(n)的n维概率分布，最重要的是条件概率 马尔可夫链的一步转移概率 　　称此条件概率为X(n)在时刻k时的一步转移概率，记为 　　它表示在时刻k时X(k)取i值的情况下，在下一时刻k+1时X(k+1)取j的概率。 马尔可夫链的一步转移概率 表示概率 表示起始时刻（当前时刻） 表示起始时刻（k时刻）所处的状态 表示下一时刻（k+1时刻）要到达的状态 马尔可夫链的一步转移概率 　　显然pij(k)应具有以下两个性质： 　　 马尔可夫链的m步转移概率 　　类似地，还可以定义m步转移概率 　　它代表X(n)在时刻n时的状态为i条件下，经过m步转移到达状态j的条件概率。 马尔可夫链的m步转移概率 表示概率 表示起始时刻（当前时刻） 表示起始时刻（k时刻）所处的状态 表示m步以后（k+m时刻）要到达的状态 表示转移步数 马尔可夫链的m步转