概率和数理统计第10章 马尔可夫链.pptVIP

第十章 马尔可夫链;第一节马尔可夫链的概念及转移概率;;下面我们只讨论齐次马氏链，并习惯上常将“齐次”两字省略。;;; 而且当 时， 等以后的行为只与 有关，而与质点以前是如何到 是完全无关的，所以，它是一个马氏链，且为齐次马氏链。;称其为具有两个反射壁的随机游动;0;它的一步转移矩阵为：; 如果 称为带一个吸收壁的随机游动，质点一旦到达状态 0 后就永远停留在 0 这个状态上，这样的状态称为吸收状态。;第二节多步转移概率的确定;定理: 设 为齐次马氏链，则对任意的 有;这就是有名的切普曼－柯尔莫哥洛夫方程，简称为 方程。;有;第三节马氏链的有限维分布;定义：设 为马氏链，;一维分布可用向量形式表示为：; 定理说明，马尔可夫链的有限维分布完全由它的初始分布和转移概率决定。;;;;例：某计算机房的一台计算机经常出现故障，研究者每隔15分钟观察一次计算机的运行状态，收集了24小时的数据（共作97次观察）。用1表示正常状态，用0表示不正常状态，所得数据序列如下：;;续例：若计算机在某一时段（15分钟）的状态为 0，问从此时段起此