南京邮电大学《概率论与数理统计》课件第13章 - 马尔可夫链.pptVIP

例：某计算机房的一台计算机经常出现故障，研究者每隔15分钟观察一次计算机的运行状态，收集了24小时的数据（共作97次观察）。用1表示正常状态，用0表示不正常状态，所得数据序列如下： 1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111 设 为第 n 个时段的计算机状态，可以认为它是一个齐次马氏链，状态空间为 由于96次状态转移的情况是： 次 次 次 次 因此，一步转移概率可用频率近似地表示为： 续例：若计算机在某一时段（15分钟）的状态为 0，问从此时段起此计算机能连续正常工作 一小时 （4个时段）的概率为多少？ 解：由题意， 第13章 马尔可夫链 第一节 马尔可夫链的概念及转移概率 第二节 多步转移概率的确定 第三节 马氏链的有限维分布 第四节 遍历性 第一节马尔可夫链的概念及转移概率 下面我们只讨论齐次马氏链，并习惯上常将“齐次”两字省略。 而且当 时， 等以后的行为只与 有关，而与质点以前是如何到 是完全无关的，所以，它是一个马氏链，且为齐次马氏链。 其状态空间为： 称其为具有两个反射壁的随机游动 0 1 若令 表示质点在时刻 的位置，那末， 是一个随机过程，而且当 时， 等以后的行为只与 有关，而与质点以前是如何到 是完全无关的，所以，它是一个马氏链。 其状态空间为： 例： 一维随机游动。 考虑在直线上作随机游动的质点，且只在非负整数上作随机游动。当质点在时刻 时处在位置 ，在 时刻转移到 的概率为 ，转移到 的概率为 ，不动的概率为 ，而处在别的位置的概率为 0 。 它的一步转移矩阵为： 0 1 2 3 这里 并且 由于它的转移概率与起点 无关，所以它还是齐次马氏链。 如果 称为带一个吸收壁的随机游动，质点一旦到达状态 0 后就永远停留在 0 这个状态上，这样的状态称为吸收状态。 如果 称为带一个反射壁的随机游动，质点一旦到达状态 0 后下一步它以概率 向右移一格。 0 1 0 1 如果状态空间 是有限的，且状态 0 与状态 N 都为吸收状态，即 称为具有两个吸收壁的随机游动. 0 1 N 第二节多步转移概率的确定 定理: 设 为齐次马氏链，则对任意的 有 或 证明：利用全概率公式及马尔可夫性，有 这就是有名的切普曼－柯尔莫哥洛夫方程，简称为 方程。 或 有 由 可见齐次马氏链，它的多步转移概率完全由它的一步转移概率所决定。因此，在马氏链中，一步转移概率是最基本的。 第三节马氏链的有限维分布 定义：设 为马氏链， 称它为马氏链的初始分布 。 0 n 一维分布可用向量形式表示为： 初始分布与一维分布的关系可表示为： 表明一维分布可由初始分布和 n 步转移概率矩阵确定。 定理说明，马尔可夫链的有限维分布完全由它的初始分布和转移概率决定。