马尔可夫链与泊松过程.pptVIP

* * * 小结 切普曼-柯尔莫哥洛夫方程 (简称 C –K 方程) 马氏链的n 步转移概率是一步转移概率的n 次 方, 链的有限维分布可由初始分布和一步转移概率完全确定. 由 C –K 方程可得 马尔可夫性概念；齐次性；状态转移图；转移概率与转移概率矩阵 * * * * * * 利用 C-K 方程我们容易确定 n 步转移概率. 得递推关系: 从而可得 马氏链的n步转移概率是一步转移概率的 n 次 方,链的有限维分布可由初始分布和一步转移概率完全确定. 结论 * 定理7.2 齐次马氏链满足 * 某计算机房的一台计算机经常出故障,研究者 每隔15分钟观察一次计算机运行状态,收集了24小 时的数据 (共作97次观察) . 用1表示正常状态, 用0 表示不正常状态, 所得的数据序列如下: 1110010011111110011110111111001111111110001101101 分析 状态空间: I={0, 1}. 例 111011011010111101110111101111110011011111100111 * 96 次状态转移的情况: 因此, 一步转移概率可用频率近似地表示为: * 解 例 * * * 解 (1)先求出2步转移概率矩阵: 例1 * 解 例1 * 例3 * 解 * 概率为 * * * （3）状态转移图为： 0 1 2 3 4 …… 0 1 2 3 . * * * * (3) * * * * * * 证明 由独立增量过程的定义知, 即有 例1 * 马尔可夫过程. 说明: 泊松过程是时间连续状态离散的马氏过程; 维纳过程是时间状态都连续的马氏过程. * * 泊松过程 考虑下列随时间推移迟早会重复出现的事件: (i) 自电子管阴极发射的电子到达阳极; (ii) 意外事故或意外差错的发生; (iii) 要求服务的顾客到达服务站。 此处顾客与服务站的含义也是相当广泛的. 例如, 顾客可以是电话的呼叫, 服务站是120急救台; 顾客可以是来领配件的汽车维修工, 服务站是维修站配件仓库的管理员, 顾客也可以是联网的个人电脑, 服务站是某网站的主页等等. * 为建立一般模型方便起见, 把电子, 顾客等看作时间轴上的质点, 电子到达阳极, 顾客到达服务站等事件的发生相当于质点出现. 于是抽象地说, 我们研究的对象将是随时间推移, 陆续地出现在时间轴上的许多质点所构成的随机的质点流.以N(t), t?0表示在时间间隔(0, t]内出现的质点数. {N(t), t?0}是一状态取非负整数, 时间连续的随机过程, 称为计数过程. * 一样本函数如图所示: 1 3 5 N(t) t1 t2 t5 O t * 定义7.16 一个整数值随机过程满足下述三个条件就称为强度为的Poisson过程： (1) 是初值为0的计数过程， ； (2) 是独立增量过程； (3)对任何 ，增量 服从参数为 的Poison分布，即： * 随机信号分析 电气学院 电子工程系 林霏 lfsdu123@126.com * 第7章 马尔可夫链与泊松过程 马尔可夫过程是研究信号多级传输、分子的布朗运动、顾客服务、计算机网络流量等等诸多问题时使用的经典模型。 本章讨论： 1）马尔可夫过程的基本概念 2）转移概率与C-K方程 3）状态分类及极限特性 4）独立增量过程定义及性质 5）泊松过程定义及相关问题 * 第7章 马尔可夫链与泊松过程 7.1 马尔可夫链 7.2 马尔可夫链的状态分类 7.3 独立增量过程 7.4 泊松过程 * 1. 马尔可夫性(无后效性) 马尔可夫性或无后效性. 即: 过程“将来”的情况与“过去”的情况是无关的. * 2. 马尔可夫过程的定义 具有马尔可夫性的随机过程称为马尔可夫过程. 用分布函数表述马尔可夫过程 恰有 * 或写成 并称此过程为马尔可夫过程. 3. 马尔可夫链的定义 时间和状态都是离散的马尔可夫过程称为马尔 可夫链, 简记为 * 1.马尔可夫链 时间离散，状态离散； 2.离散马尔可夫过程 时间连续，状态离散； 3.马尔可夫序列 时间离散，状态连续； 4.连续马尔可夫过程 时间连续，状态连续。 马尔可夫过程分类： 王梓坤院士 马尔可夫 * 研究时间和状态都是离散的随机序列 1. 用分布律描述马尔可夫性 有 * 称条件概率 说明: 转移概率具有特点 2. 转移概率 由