泊松过程、马尔科夫链.pptVIP

* 第七章 泊松过程、马尔科夫链 按随机过程的不同性质进行分类，是一种更深刻、更能反映实际背景的分类方法。本章介绍几种常用的随机过程类型：独立增量过程、泊松过程、正态过程、维纳过程和马尔科夫链。 7.1 独立增量过程与泊松过程 一、独立增量过程 1.独立增量过程 随机变量 则称 {X(t),t≥0} 是独立增量过程，又称可加过程. 是相互独立的， 设{X(t),t≥0}是随机过程，如果对于任意的正整数n和 平稳独立增量过程→ 2.平稳独立增量过程(齐次增量过程) 设{X(t),t≥0}是独立增量过程，若对任意0≤st,随机变量X(t)-X(s)的分布仅依赖于t-s,而与起点s和终点t本身无关，则称{X(t),t∈[0,+∞)}是平稳(也称齐次)独立增量过程. 二、泊松过程 1.计数过程 若N(t)表示到时刻t为止已发生的“事件A”的总数，且N(t)满足以下条件： 则随机过程{N(t),t≥0}为计数过程。 泊松过程→ 2.泊松过程 (1)泊松过程的定义 设随机过程{X(t),t≥0}的状态空间为X={0,1,2,…},且满足下列三个条件： 则称{X(t),t≥0}为强度是λ的泊松过程。 复习：泊松分布 泊松量过程的数字特征→ (2)泊松过程的数字特征 设t,s∈[0,+∞),且st， (3)泊松过程的一个实例 设N(t)表示某电话交换台在时间[0,t)内接到的呼唤次数。 可以证明，对固定的t，呼唤次数N(t)是服从某参数λ的泊松分布的随机变量。证明从略。 (4)时间间隔与等待时间的分布 {X(t),t≥0}是泊松过程 X(t)表示t时刻事件A发生(如:顾客出现)的次数， {Wn,n=1,2,…}为泊松过程的等待时间序列 {Tn,n=1,2,…}为泊松过程的等待(或到达)时间序列间隔序列。 泊松量过程的实例→ 时间间隔的分布：定理7.1.2 设{X(t),t≥0}是具有参数λ的泊松过程，{Tn,n≥1}是对应的时间间隔序列，则随机变量Tn(n=1,2,…)独立同服从均值为1/ λ的指数分布,其分布函数为 证明(p233) 等待时间的分布：定理7.1.3 设{Wn,n=1,2,…}是与泊松过程{X(t),t≥0}对应的一个等待时间序列，则Wn服从参数为n和λ的Γ分布，其概率为 证明(p234) 到达时刻的条件分布→ 到达时刻的条件分布 设{X(t),t≥0}是具有参数λ的泊松过程。在[0,t]内事件A已经发生n次，则第k(kn)次事件A发生的时刻Wk的条件概率密度函数为 证明(p235) 正态过程与维纳过程(略)→ 7.2 正态过程与维纳过程(自习内容) 一、二阶矩过程 若随机过程{X(t),t∈T}的二阶矩存在(有限),则称之为二阶矩过程。 二、正态过程 设{X(t),t∈T}是随机过程，若对任意正整数n和 则称{X(t),t∈T}是正态过程或高斯过程。 从二阶矩过程的均值函数和相关函数出发来讨论随机过程的性质，而不涉及它的有限维分布，这种理论称为随机过程的相关理论。 1.定义 正态过程的一种特殊情形：维纳过程 三、维纳过程 定义：设{W(t),t≥0}为随机过程，如果满足： 则称{W(t),t≥0}为维纳过程。 2.正态过程的一个重要性质 随机过程为正态过程的充分必要条件是其任意有限个状态的线性组合为一维正态随机变量。 7.3 马尔科夫链 一、马尔科夫过程 马尔科夫过程是具有这样特性的过程：当已知随机过程现在时刻处于某状态时，此过程“将来”的情况便与“过去”的情况无关。这种特性通常称为无后效性。 设{X(t),t∈T}为随机过程，若对任意正整数n及 且其条件分布 则称{X(t),t∈T}为马尔科夫过程. 例：直线上的随机游动 马尔科夫链→ 二、马尔科夫链 ,有 设{Xn,n≥0}为随机变量序列，其状态空间为 如果对任意的正整数n及任意n+1个状态 则称此随机过程序列为马尔科夫链。 1.马尔科夫链的定义 例：在玻尔氢原子模型中，电子可在允许的轨道上运动，假设以Xn-1=ai表示电子在第i条轨道上运动，并且电子轨道的跃迁只在t1,t2,t3,…发生，显然，在时刻tn由第i轨道变到第j轨道的概率只与i,j有关，而与电子过去在什么轨道上无关,这个过程{Xn,n≥0}是个马尔科夫过程。 一步转移概率→ 2.转移概率(一步转移概率) 设{Xn,n≥0}为马尔科夫链，其状态空间为 则称条件概率 为马尔科夫链{Xn,n≥0}在时刻n的一步转移概率，简称为转移概率，记作 . 一般地，转移概率不仅与状态有关，还与时刻有关。当转移概率与时刻无关时，表示马尔科夫链具有平稳转移概率，称这样的马尔科夫链是齐次的或时齐的，并记 pij(n)为pij P244例6(