工程数学第24讲.pptVIP

工程数学第24讲 第十一章 马尔可夫链 §1 马尔可夫过程及其概率分布 在物理学中, 很多确定性现象遵从如下演变原则: 由时刻t0系统或过程所处的状态, 可以决定系统或过程在时刻tt0所处的状态, 而无需借助于t0以前系统或过程所处状态的历史资料. 如微分方程初值问题所描绘的物理过程. 将这样的原则延伸到随机现象, 引入马尔可夫性或无后效性: 过程(或系统)在时刻t0所处的状态为已知条件下, 过程在时刻tt0所处状态的条件分布与过程在时刻t0之前的状态无关. 即已经知道过程现在的条件下, 其将来不依赖于过去. 设随机过程{X(t), t?T}的状态空间为I. 如果对任意n个时间值t1t2...tn, n?3, ti?T, 在条件X(ti)=xi,xi?I, i=1,2,...,n-1下, P{X(tn)?xn|x(t1)=x1, X(t2)=x2,...,X(tn-1)=xn-1} =P{X(tn)?xn|X(tn-1)=xn-1}, xn?R, (1.1)或写成 则称过程{X(t), t?T}具有马尔可夫性或无后效性, 并称此过程为马尔可夫过程. 例1 设{X(t),t?0}是独立增量过程, 且X(0)=0, 证明{X(t),t?0}是一个马尔可夫过程.证 由(1.1)式知, 只要证明在已知X(tn-1)=xn-1的条件下X(tn)与X(tj), j=1,2