第7章 马尔可夫链与泊松过程.pptVIP

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 随机信号分析 电气学院 电子工程系 林霏 lfsdu123@126.com 第7章 马尔可夫链与泊松过程 马尔可夫过程是研究信号多级传输、分子的布朗运动、顾客服务、计算机网络流量等等诸多问题时使用的经典模型。 本章讨论： 1）马尔可夫过程的基本概念 2）转移概率与C-K方程 3）状态分类及极限特性 4）独立增量过程定义及性质 5）泊松过程定义及相关问题 第7章 马尔可夫链与泊松过程 7.1 马尔可夫链 7.2 马尔可夫链的状态分类 7.3 独立增量过程 7.4 泊松过程 泊松过程 考虑下列随时间推移迟早会重复出现的事件: (i) 自电子管阴极发射的电子到达阳极; (ii) 意外事故或意外差错的发生; (iii) 要求服务的顾客到达服务站。 此处顾客与服务站的含义也是相当广泛的. 例如, 顾客可以是电话的呼叫, 服务站是120急救台; 顾客可以是来领配件的汽车维修工, 服务站是维修站配件仓库的管理员, 顾客也可以是联网的个人电脑, 服务站是某网站的主页等等. 为建立一般模型方便起见, 把电子, 顾客等看作时间轴上的质点, 电子到达阳极, 顾客到达服务站等事件的发生相当于质点出现. 于是抽象地说, 我们研究的对象将是随时间推移, 陆续地出现在时间轴上的许多质点所构成的随机的质点流.以N(t), t?0表示在时间间隔(0, t]内出现的质点数. {N(t), t?0}是一状态取非负整数, 时间连续的随机过程, 称为计数过程. 一样本函数如图所示: 小结 利用 C-K 方程我们容易确定 n 步转移概率. 得递推关系: 从而可得 马氏链的n步转移概率是一步转移概率的 n 次 方,链的有限维分布可由初始分布和一步转移概率完全确定. 结论 定理7.2 齐次马氏链满足 某计算机房的一台计算机经常出故障,研究者 每隔15分钟观察一次计算机运行状态,收集了24小 时的数据 (共作97次观察) . 用1表示正常状态, 用0 表示不正常状态, 所得的数据序列如下: 1110010011111110011110111111001111111110001101101 分析 状态空间: I={0, 1}. 例 111011011010111101110111101111110011011111100111 96 次状态转移的情况: 因此, 一步转移概率可用频率近似地表示为: 解 例 解 (1)先求出2步转移概率矩阵: 例1 解 例1 例3 解 概率为 （3）状态转移图为： 0 1 2 3 4 …… 0 1 2 3 . (3) 证明 由独立增量过程的定义知, 即有 例1 马尔可夫过程. 说明: 泊松过程是时间连续状态离散的马氏过程; 维纳过程是时间状态都连续的马氏过程. * * * 1. 马尔可夫性(无后效性) 马尔可夫性或无后效性. 即: 过程“将来”的情况与“过去”的情况是无关的. 2. 马尔可夫过程的定义 具有马尔可夫性的随机过程称为马尔可夫过程. 用分布函数表述马尔可夫过程 恰有 或写成 并称此过程为马尔可夫过程. 3. 马尔可夫链的定义 时间和状态都是离散的马尔可夫过程称为马尔 可夫链, 简记为 1.马尔可夫链 时间离散，状态离散； 2.离散马尔可夫过程 时间连续，状态离散； 3.马尔可夫序列 时间离散，状态连续； 4.连续马尔可夫过程 时间连续，状态连续。 马尔可夫过程分类： 王梓坤院士 马尔可夫 研究时间和状态都是离散的随机序列 1. 用分布律描述马尔可夫性 有 称条件概率 说明: 转移概率具有特点 2. 转移概率 由转移概率组成的矩阵 称为马氏链的转移概率矩阵. 此矩阵的每一行元素之和等于1. 它是随机矩阵. 2、马尔可夫链的一般特性 状态概率： 概率分布列： 转移概率： 转移矩阵： 性质: (1) (2) (3) (4) 或: p161 (7.13) (3) 3. 平稳性 有关时, 称转移概率具有齐次性. 同时也称此链是齐次的或时齐的. 称为马氏链的n步转移概率 一步转移概率 特别的, 当 n=1 时, 一步转移概率矩阵 的状态 记为P 例 一维随机游动 游动的概率规则 1/3的概率向左或向右移动一格, 或以1/3的概率留 在原处; 如果Q现在位于点 i (1 i 5),则下一时刻各以 以概率1移动到2(或4)这一点上. 如果Q现在位于1(或5)这点上, 则下一时刻就 1和5这两点称为反射壁. 上面这种游动称为带有两个反射壁的随机游动. 　　模拟方法:产生均匀分布的随机数序列1323