马尔可夫过程与泊泊松过程.pptVIP

第七章马尔可夫过程与洎松过程 马尔可夫链 马尔可夫过程 泊松过程 马尔可夫过程是一类重要的随机过程,广泛应用 在近代物理、生物(生灭过程)、公用事业、信 号处理、自动控制等方面 马尔可夫过程的基本特征是无后效应性, 即未来状态只与现在有头,与过去无关。  71马尔可夫链 定义状态和肘间参量都是高散的随机过程,在t 时刻状态巳知的条件下,其后t+1时刻所处的状态 只与t肘刻的状态有关,而与以前t1、t2……财 刻的状态无关,则该过程称为马尔可夫链。 Pk,; t, /x,xn_,,,Xi; t-I,t,_,, t3=Pr; t,/xn; t-13  倒:随机游动问题 1-p 0 维随机游动问题。设有一质点在X轴上作隨机游动。 在t=0射质点属于X軸的原点,在t=1,2,3.肘质点可以 在輻上正向或反向移动一个单位距高。 若给定肘间n-1,质点偏离原点的距离为k,可表示为 Ⅹn1=k,则质点在冂财刻偏高X轴原点的距高只与n-l 肘刻质点所处的状态有关。附剡n质点所处的状态可 以表示 k+1质点正向移动一个单位 k-1质点反向移动一个单位师罗  马尔可夫链的统计特性 状态概率(概率分布列) P(n)=P(X2=a)∑P/(n)=1 状态转移概率(s,m)=PXn=a1/X,=a1} 状态转移矩阵 B1(s,n)12(s,n) N(S,n) P21(S,n)P22(s,n) P2N(, n) NI(S,n) ∑P(s,m)=∑P(Xn=a/X,=a1}=1每一行之和为1  状态概率与状态转移矩阵之间的头糸」 P, (n)=PIXn=a ∑P(Xn=a,X,=a1} ∑P(Xn=a1/X,=a1}P(X。=a} PO ∑P(s,n)P(s) p(n)=P(s, n)p(s)