马尔可夫过程.pptVIP

第一节 马尔可夫过程及其概率分布 一、马尔可夫过程的概念 二、马尔可夫过程的概率分布 三、应用举例 四、小结 第二节 多步转移概率的确定 一、C-K 方程 二、多步转移概率的确定 四、小结 第三节 遍历性 一、遍历性的概念 二、(有限链)遍历性的充分条件 四、小结 解 (1)先求出2步转移概率矩阵: 例1 在 传输系统中, 传输后的误码率; 系统经 n 级传输后输出为 1, 问原发字符也是 1 的 概率是多少? 例2 解 先求出 n 步转移概率矩阵. 有相异的特征值 所以可将 P 表示成对角阵 传输后的误码率分别为: (2) 根据贝叶斯公式, 当系统经 n 级传输后输出为 1, 原发字符也是 1 的概率为: 说明 n步转移概率矩阵为 矩阵一般可表示为: 对于只有两个状态的马氏链, 一步转移概率 例3 解 概率为 切普曼-柯尔莫哥洛夫方程 (简称 C –K 方程) 马氏链的n 步转移概率是一步转移概率的n 次 方, 链的有限维分布可由初始分布和一步移概率完全确定. 由 C –K 方程可得 一、遍历性的概念 三、应用举例 四、小结 二、(有限链)遍历性的充分条件 对于一般的两个状态的马氏链, 由上节内容可知, 意义 对固定的状态j,不管链在某一时刻的什么状 态 i出发, 通过长时间的转移到达状态 j 的概率都趋 定义 则称此链具有遍历性.