第14讲 马尔可夫过程.pptVIP

第14讲 马尔可夫过程 目的： 马尔可夫链、马尔可夫过程概念 齐次马尔可夫链概念 转移概率矩阵 切普曼－柯尔莫哥洛夫方程 第五章 马尔可夫过程 马尔可夫过程的特性： 随机过程在时刻ti所处的状态已知时，过程在t(tti)所处的状态仅与过程在ti时刻的状态有关，而与过程在ti以前所处的状态无关。 马尔可夫过程分类（时间、状态空间） 5.1马尔可夫链 定义： 对任意的整数s1s2…slmm+k，离散随机序列Xn，在m+k时刻的状态Xm+k只与最近时刻m的状态Xm有关，而与以前s1,s2,…,sl时刻的状态无关，这样的随机序列称为马尔可夫链，简称马氏链。 马尔可夫链含义 一、状态概率、转移概率及转移矩阵 转移矩阵性质： 二、切普曼－柯尔莫哥洛夫方程 切普曼－柯尔莫哥洛夫方程： 三、齐次马尔可夫链 定义：如果马尔可夫链的转移概率pij(m,n)只取决于n-m，而与m和n本身的值无关，则称为齐次马尔可夫过程链，简称齐次链。 齐次马尔可夫链的 切普曼－柯尔莫哥洛夫方程为： 例1：设质点M在直线段上作随机游动。假设质点M只能停留在1，2，…，N点上，且只在t1,t2,…,tn,…时刻发生游动。游动的概率法则是： 若质点M原来处于2，…，N-1这些点上，则分别以p(0p1)的概率向右移动一步或以q(q=1-p)的概率向左移动一步 若质点原来处于1点，则以概率1移动到2点