概率统计（教学课件）习题课11.pptVIP

第十一章 马尔可夫链习 题 课 一、重点与难点 二、主要内容 马尔可夫过程 马尔可夫链 齐次马尔可夫链 转移概率、转移概率矩阵 马氏链的n步转移概率 切普曼-柯尔莫哥洛夫方程(简称C -K方程) 遍历性 遍历性的充分条件 三、典型例题 二、主要内容 三、典型例题 一、重点与难点 1.重点 2.难点 马氏链 n 步转移概率的确定 有限维分布律的计算方法 遍历性问题 马尔可夫过程 马尔可夫链 转移概率矩阵 齐次马尔可夫链 C-K 方程 遍 历 性 充要条件 具有马尔可夫性的随机过程称为马尔可夫过程. 马尔可夫性(无后效性) 马尔可夫性或无后效性. 时间和状态都是离散的马尔可夫过程称为 马尔可夫链. 简记为: 有关时, 称此链是齐次的或时齐的. 称条件概率 转移概率的特点 由转移概率组成的矩阵 称为马氏链的转移概率矩阵. 它是随机矩阵. n 步转移概率. 称为马氏链的 一步转移概率 当 k=1 时: 一步转移概率矩阵 是一齐次马氏链, 则对任意的 马氏链的n步转移概率是一步转移概率的 n次方,链的有限维分布可由初始分布和一步移概率完全确定. 由 C-K 方程知: 则称此链具有遍历性. 解 例1 例2