第6讲马尔可夫过程3.ppt

第6讲 马尔可夫过程 马尔可夫链、马尔可夫过程概念 齐次马尔可夫链概念 转移概率矩阵 切普曼－柯尔莫哥洛夫方程 从信号前后取值状态的联系上分析随机过程 目的： 内容： 重点 第五章 马尔可夫过程 马尔可夫过程的特性： 随机过程在时刻ti所处的状态已知时，过程在t(tti)所处的状态仅与过程在ti时刻的状态有关，而与过程在ti以前所处的状态无关。 x1(t) x2(t) x3(t) x4(t) t1 t2 t3 t4 马尔可夫过程分类（时间、状态空间） 根据取值的连续性 马尔可夫过程 链、序列 过程 马尔可夫链 马尔可夫序列 可列马尔可夫过程 马尔可夫过程 根据时间上的连续性 马尔可夫序列 马尔可夫链 x1(k) x2(k) x3(k) x1(k) 2 1 0 -1 -2 可列马尔可夫过程 马尔可夫过程 x1(t) x2(t) x3(t) x4(t) t1 t2 t3 t4 x1(t) x2(t) x3(t) 5.1马尔可夫链 定义： 对任意的整数s1s2…slmm+k，离散随机序列Xn，在m+k时刻的状态Xm+k只与最近时刻m的状态Xm有关，而与以前s1,s2,…,sl时刻的状态无关，这样的随机序列称为马尔可夫链，简称马氏链。 马尔可夫链含义 Xs1 Xs2 Xs3 Xm Xm+k a1 a2 aj aN-1 aN a1 a2 aj aN-1 aN a1 a2 aj aN-1 aN a1 a2 aj aN-1 aN a1 a2 aj aN-1 aN 一、状态概率、转移概率及转移矩阵 思考：如何掌握马尔可夫链性质？ 状态空间 初始状态 转移概率 Xm Xn a1 a2 ai aN-1 aN a1 a2 ai aN-1 aN 转移 转移矩阵性质： Xm Xn a1 a2 ai aN-1 aN a1 a2 ai aN-1 aN 转移 Xn取值概率 转移后概率和 所有转移可能 二、切普曼－柯尔莫哥洛夫方程 Xm Xr a1 a2 ai aN-1 aN a1 a2 ak aN-1 aN 转移 Xn a1 a2 aj aN-1 aN 转移 思考：初态、终态、中间态关系 初态 中间态 终态 切普曼－柯尔莫哥洛夫方程： 三、齐次马尔可夫链 定义：如果马尔可夫链的转移概率pij(m,n)只取决于n-m，而与m和n本身的值无关，则称为齐次马尔可夫过程链，简称齐次链。 Xm Xn a1 a2 ai aN-1 aN a1 a2 ai aN-1 aN 转移 齐次马尔可夫链的 切普曼－柯尔莫哥洛夫方程为： 转移概率 转移矩阵大势 任意时刻联合概率 例1：设质点M在直线段上作随机游动。假设质点M只能停留在1，2，…，N点上，且只在t1,t2,…,tn,…时刻发生游动。游动的概率法则是： 若质点M原来处于2，…，N-1这些点上，则分别以p(0p1)的概率向右移动一步或以q(q=1-p)的概率向左移动一步 若质点原来处于1点，则以概率1移动到2点 若质点M原处于N点，则以概率1移动到N-1点上。 1 2 3 N-1 N p q 转移矩阵 转移概率 例2：在某数字通信系统中传递0、1两种信号，且传递要经过若干级。因为系统中存在噪声，各级将会造成错误。若某级输入0、1数字信号后，其输出不产生错误的概率为p(即各级正确传递信息的概率)，产生错误的概率q=1-p。 求其转移概率： 一步转移概率 二步转移概率 n步转移概率 例3：天气预报问题。若明天是否降雨只与今日的天气（是否有雨）有关，而与以往的天气无关。并设今日有雨而明日也有雨的概率为0.6，今日无雨而明日有雨的概率为0.3。另外，假定将“有雨”称作“1”状态天气，而把“无雨”称为“2”状态天气，则本例属于一个两状态马氏链。试求： 其一步至四步转移概率矩阵 今日有雨而后日（第三日）仍有雨的概率为多少？ 今日有雨而第四日无雨的概率为多少？ 今日无雨而第五日有雨的概率为多少？ 一步 二步 三步 四步 5.2马尔可夫过程 定义：设有一随机过程{X(t),t∈T}，取时间点t1t2…tmtm+1 ∈T，满足条件： 则称此类过程为一阶马尔可夫过程。 切普曼－柯尔莫哥洛夫方程 证明 xs xr xn