北京工业大学研究生概率论及数理统计.ppt

正在接受服务的顾客继续要求服务,且在 正在接受服务的顾客继续要求服务, 且另一 个顾客进入系统的概率. 间隔内有两个客顾进入系统的概率, 由假设, 后者实际上是不可能发生的. 类似的, 或者一人将离去且另一人将进入系统,或者 无人离开系统的概率. 该马氏链的一步转移概率为 某计算机房的一台计算机经常出故障,研究者 每隔15分钟观察一次计算机运行状态,收集了24小 时的数据 (共作97次观察) . 用1表示正常状态, 用0 表示不正常状态, 所得的数据序列如下: 1110010011111110011110111111001111111110001101101 分析 状态空间: I={0, 1}. 例8 111011011010111101110111101111110011011111100111 96 次状态转移的情况: 因此, 一步转移概率可用频率近似地表示为: 以下研究齐次马氏链的有限维分布. 特点: 用行向量表示为 一维分布由初始分布和 转移概率矩阵决定 （书P362 公式1.7） 一维分布也可用行向量表示成 p(n)=( p1(n) , p2(n),… pj(n),…) 这样，利用矩阵乘法（I是可列无限集时，仍用有限阶）矩阵乘法的规则确定矩阵之积的元素，可写成 p(n) = p(0)P(n)?——(矩阵)。 结论：马氏链在任一时刻n∈ T1时的一维分布由初始分布 p(0)和n 步转移概率矩阵所确定。 马氏链的 n 维分布 有限维分布仍由初始分布 和转移概率矩阵决定 由乘法公式 （书P362 公式1.8） 例9(续例8)若计算机在前一段（15分钟）的状态为0，问从时段起此计算机能连续正常工作一小时（4个时段）的概率为多少？ 解 由题意，前一时段的状态为0就是初始分布P0（0)=P{X 0= 0} 。计算机能连续正常工作4个时段的概率为 P{X1 = 1， X2=1， X3= 1， X4=1| X0=0} =P{X0=0， X1 = 1， X2=1， X3= 1， X4=1}/ P{X 0= 0} = p0 (0) p01 (1) p11 (1) p11 (1) p11 (1) /P{X 0= 0} = 由以上讨论知,转移概率决定了马氏链的运动的统计规律. 因此, 确定马氏链的任意n步转移概率成为马氏链理论中的重要问题之一. 四、小结 齐次马氏链、平稳性的概念. 一步转移概率矩阵的计算. 一步转移概率 一步转移概率矩阵 马尔可夫资料 Born: 14 Jun. 1856 in Ryazan, RussiaDied: 20 Jul. 1922 in Petrograd (now St Petersburg), Russia Andrei Andreyevich Markov 第一节 马尔可夫过程及其概率分布 一、马尔可夫过程的概念 二、马尔可夫过程的概率分布 三、应用举例 四、小结 一、马尔可夫过程的概念 1. 马尔可夫性(无后效性) 马尔可夫性或无后效性. 即: 过程“将来”的情况与“过去”的情况是无关的. 马尔可夫资料 2. 马尔可夫过程的定义 具有马尔可夫性的随机过程称为马尔可夫过程. 用分布函数表述马尔可夫过程 恰有 或写成 并称此过程为马尔可夫过程. 3. 马尔可夫链的定义 时间和状态都是离散的马尔可夫过程称为马尔 可夫链, 简记为 研究时间和状态都是离散的随机序列 二、马尔可夫过程的概率分布 1. 用分布律描述马尔可夫性 有 称条件概率 说明: 转移概率具有特点 2. 转移概率 由转移概率组成的矩阵 称为马氏链的转移概率矩阵. 此矩阵的每一行元素之和等于1. 它是随机矩阵. 3. 平稳性 有关时, 称转移概率具有平稳性. 同时也称此链是齐次的或时齐的. 称为马氏链的n步转移概率 a1 a2 … aj … Xm+1的状态 的状态 Xm 一步转移概率 特别的, 当 k=1 时, 一步转移概率矩阵 的状态 记为P 三、应用举例 证明 由独立增量过程的定义知, 即有 例1 马尔可夫过程. 说明: 泊松过程是时间连续状态离散的马氏过程; 维纳过程是时间状态都连续的马氏过程. 设每一级的传真率为 p, 误码率为 q=1-p. 设一个单位时间传输一级, 只传输数字0和1的串联系统 ( 传输系统) 如图: 分析: 例2 而与时刻 n 以前所处的状态无关. 所以它是一个马氏链, 且是齐次的. 一步转移概率 一