13第四章马尔可夫链解剖.ppt

第四章 马尔可夫链 马尔可夫链定义 一步转移概率及多步转移概率 初始概率及绝对概率 Chapman-Kolmogorov（C-K）方程 遍历的马尔可夫链及平稳分布 马尔可夫链状态分类 时间、状态都是离散的马尔可夫过程，称为马尔可夫链。 例如：天气预报 质点的随机游动 例如：在某数字通信系统中传递0，1两种信号，且传递需要经过若干级。因为系统中有噪声，各级将造成错误，若某级输入0，1信号后，其输出不产生错误的概率为p，产生错误的概率为1-p，则该级的输入输出状态构成了一个两个状态的马氏链。 马尔可夫链定义 马尔可夫链的状态分类 周期、非周期 常返、非常返 其中，常返分为正常返、零常返 非周期的正常返称为遍历状态 到达和互通 状态空间的分解 一个有限状态的马氏链,当满足 条件时,经过一段试验时间后,过程将到平稳(或平稳)状态,此后过程那一个状态的概率不再随时间而变化. (1) 解: 显然遍历 设马尔可夫链的状态空间I={1,2,3,4,5,6,7,8,9}，状态转移图如下图 观察状态1 定义4.6 如集合{n: n≥1,pii(n)0}非空，则称该集合的最大公约数d=d(i)=G.C.D{n:pii(n)0}为