随机过程作业马尔可夫过程方案.pptVIP

马尔可夫过程 x1(t) x2(t) x3(t) x4(t) t1 t2 t3 t4 随机过程 平稳随机过程 x t f(x,t) RX(t+τ,t) 各态历经随机过程 x1(t) x2(t) x3(t) x4(t) t1 t2 t3 t4 τ τ 随机过程要点回顾 从统计特性上分析随机过程性质 马尔可夫链、马尔可夫过程概念 齐次马尔可夫链概念 转移概率矩阵 切普曼－柯尔莫哥洛夫方程 从信号前后取值状态的联系上分析随机过程 目的： 内容： 重点 马尔可夫过程 马尔可夫过程的特性： 随机过程在时刻ti所处的状态已知时，过程在t(tti)所处的状态仅与过程在ti时刻的状态有关，而与过程在ti以前所处的状态无关。 x1(t) x2(t) x3(t) x4(t) t1 t2 t3 t4 马尔可夫过程分类（时间、状态空间） 根据取值的连续性 马尔可夫过程 链、序列 过程 马尔可夫链 马尔可夫序列 可列马尔可夫过程 马尔可夫过程 根据时间上的连续性 马尔可夫序列 马尔可夫链 x1(k) x2(k) x3(k) x1(k) 2 1 0 -1 -2 可列马尔可夫过程 马尔可夫过程 x1(t) x2(t) x3(t) x4(t) t1 t2 t3 t4 x1(t) x2(t) x3(t) 5.1马尔可夫链 定义： 对任意的整数s1s2…slmm+k，离散随机序列Xn，在m+k时刻的状态Xm+k只与最近时刻m的状态Xm有关，而与以前s1,s2,…,sl时刻的状态无关，这样的随机序列称为马尔可夫链，简称马氏链。 马尔可夫链含义 Xs1 Xs2 Xs3 Xm Xm+k a1 a2 aj aN-1 aN a1 a2 aj aN-1 aN a1 a2 aj aN-1 aN a1 a2 aj aN-1 aN a1 a2 aj aN-1 aN 一、状态概率、转移概率及转移矩阵 思考：如何掌握马尔可夫链性质？ 状态空间 初始状态 转移概率 Xm Xn a1 a2 ai aN-1 aN a1 a2 ai aN-1 aN 转移 转移矩阵性质： Xm Xn a1 a2 ai aN-1 aN a1 a2 ai aN-1 aN 转移 Xn取值概率 转移后概率和 所有转移可能 二、切普曼－柯尔莫哥洛夫方程 Xm Xr a1 a2 ai aN-1 aN a1 a2 ak aN-1 aN 转移 Xn a1 a2 aj aN-1 aN 转移 思考：初态、终态、中间态关系 初态 中间态 终态 切普曼－柯尔莫哥洛夫方程： 三、齐次马尔可夫链 定义：如果马尔可夫链的转移概率pij(m,n)只取决于n-m，而与m和n本身的值无关，则称为齐次马尔可夫过程链，简称齐次链。 Xm Xn a1 a2 ai aN-1 aN a1 a2 ai aN-1 aN 转移 齐次马尔可夫链的 切普曼－柯尔莫哥洛夫方程为： 转移概率 转移矩阵大势 任意时刻联合概率 例1：设质点M在直线段上作随机游动。假设质点M只能停留在1，2，…，N点上，且只在t1,t2,…,tn,…时刻发生游动。游动的概率法则是： 若质点M原来处于2，…，N-1这些点上，则分别以p(0p1)的概率向右移动一步或以q(q=1-p)的概率向左移动一步 若质点原来处于1点，则以概率1移动到2点 若质点M原处于N点，则以概率1移动到N-1点上。 1 2 3 N-1 N p q 转移矩阵 转移概率