随机过程与排队论07要点.ppt

* * * * * * * * * * * * * * * * * * * * * * 计算机科学与工程学院　顾小丰 随机过程与排队论 计算机科学与工程学院 顾小丰 Email：guxf@uestc.edu.cn * * 计算机科学与工程学院　顾小丰 26－* 泊松过程 泊松过程的两个定义及其等价性 泊松过程的概率分布 泊松过程的数字特征 泊松过程的性质 非齐次泊松过程 复合泊松过程 更新计数过程 上一讲内容回顾 P{N(h)=1}＝?h+o(h)； P{N(h)?2}＝o(h) 均值函数 m(t)＝E[N(t)]＝?t； 方差函数 D(t)＝D[N(t)]＝?t； 特征函数 ； 协方差函数 C(s,t)＝?min(s,t)； 相关函数 R(s,t)＝?min(s,t)＋?2st。 平稳独立增量过程； 点间间距序列Tn相互独立同分布，服从参数为?的指数分布； 等待时间序列?n服从参数为?的n阶爱而朗分布； * 计算机科学与工程学院　顾小丰 26－* 本讲主要内容 马尔可夫过程 马尔可夫过程的概念 马尔可夫过程的分类 离散参数马氏链 k步转移概率、 k步转移矩阵 齐次马尔可夫链 * 计算机科学与工程学院　顾小丰 26－* 第三章 马尔可夫过程 当过程在t=t0时刻所处的状态已知的情况下，过程在时刻t(tt0)所处的状态与过程在t=t0时刻之前的状态无关。这种已知“现在”的条件下，“将来”与“过去”无关的性质，就是直观意义下的马尔可夫性或称为无后效性。具有无后效性的过程称为马尔可夫过程。 马尔可夫过程是理论和实际应用都十分重要的一类随机过程。在工程系统中的噪声和信号分析、通信网络和输送现象的模拟、统计物理学、生物学、数字计算方法、经济管理和市场预测等领域中都有十分重要的作用和广泛应用。 * 计算机科学与工程学院　顾小丰 26－* §3.1 马尔可夫过程的概念 给定随机过程{X(t),t?T}，如果对于参数中任意n个时 刻ti,i=1,2,…,n，t1t2…tn有 P{X(tn)xn|X(t1)=x1,X(t2)=x2,…,X(tn-1)=xn-1} ＝P{X(tn)xn|X(tn-1)=xn-1} (3.1) 则称随机过程{X(t),t?T}为马尔可夫过程，简称马氏过程。 具有(3.1)式性质称为具有马尔可夫性、无后效性或无记忆性。 由条件分布函数的定义，(3.1)等价于 F(xn;tn|x1,x2,…,xn-1;t1,t2,…,tn-1)＝F(xn;tn|xn-1;tn-1)。 如果概率密度函数存在，它等价于 f(xn;tn|x1,x2,…,xn-1;t1,t2,…,tn-1)＝f(xn;tn|xn-1;tn-1)。 随机过程具有马尔可夫性质是说：当给定X(t1), X(t2), …,X(tn-1)时，X(tn)的条件分布只依赖于X(tn-1)的已知值，而与在tn-1以前X(t)的取值无关。 * 计算机科学与工程学院　顾小丰 26－* 转移概率 给定马氏过程{X(t),t?T}，条件概率 p(s,t;x,y)＝P{X(t)y|X(s)=x} 称为马氏过程的转移概率。 若转移概率与s无关，则此过程称为齐次(时)马氏过程。 马氏过程{X(t),t?T}中，X(t)的取值x称为状态，X(t)＝x表示过程在时刻t处于状态x，过程所取状态的全体 E＝{x：X(t)=x,t?T} 称为状态空间。 * 计算机科学与工程学院　顾小丰 26－* 马尔可夫过程的分类 参数集T 离散 连续 状态空间E 离散 离散参数马氏链 连续参数马氏链 连续 离散参数马氏序列 连续参数马氏过程 * 计算机科学与工程学院　顾小丰 26－* 例1 一维随机游动 在直线上非负整数点作随机游动的质点，当时 刻n时处于位置i(i?0)，时刻n+1时处于i+1的概率为 pi，处于i-1的概率为qi，不动的概率为ri(pi+qi+ri =1)，若以X(n)表示时刻n质点的位置，那么{X(n), n=0,1,2,…}离散参数马氏链。 这是因为，当X(n)＝i时，X(n+1),X(n+2),…等以后的行为只与X(n)=i有关，而与质点在n以前如何到达i是无关的。它的状态空间E={0,1,2,…}。 * 计算机科学与工程学院　顾小丰 26－* 例2 独立过程{X(t),t?T}是马尔可夫过程。 证明 设{X(t),t?T}是独立过程，对于t1t2…tn ?T，X(t1),X(t2),…,X(tn)相互独立，因此 P{X(tn)xn|X(t1)=x1,X(t2)=x2,…,X(tn-1)=xn-1}