马尔可夫过程-1.ppt

* * 马尔可夫过程的概念 离散参数马尔可夫链 连续参数马尔可夫链 生灭过程及应用 5 马尔可夫过程 有限维概率分布(簇) 转移概率 绝对概率 极限分布 平稳分布 状态空间的性质 5 马尔可夫过程 5.1 马尔可夫过程的概念 5.1.1 有关定义 随机过程马尔可夫性：（物理描述） 当随机过程在时刻 ti 所处的状态为已知的条件下，过程在时刻 t(ti)所处的状态，与过程在ti时刻以前的状态无关，而仅与在ti时刻的状态有关。这种已知“现在”状态的条件下，“将来”状态与“过去”状态无关的性质，称为马尔可夫性或无后效性。 具有马尔可夫性或无后效性的随机过程，即是马尔可夫过程。 5.1 马尔可夫过程的概念 5.1.1 有关定义 马尔可夫过程定义：（条件概率） 给定随机过程{X(t), t?T},若对于任意n(≥3)个时刻t1t2… tn-1 tn ?T, 有 P{X(tn) xn | X(t1) = x1, X(t2) = x2, …, X(tn-1) = xn-1} = P{X(tn) xn | X(tn-1) = xn-1} 或 F{xn | x1, x2, …, xn-1; t1, t2, …, tn-1}= F{xn; tn| xn-1 ; tn-1} 或 f{xn | x1, x2, …, xn-1; t1, t2, …, tn-1}= f{xn; tn| xn-1 ; tn-1} 则称随机过程{X(t), t?T}为马尔可夫过程。 5.1 马尔可夫过程的概念 5.1.1 有关定义 例1 直线上的随机游动。 例2 电话交换站在某时刻接到的呼唤次数。 [0,t]=[0,tm]+(tm,t] 次数(t)=次数(tm)+次数(tm,t) 例3 布朗运动。 概率p 概率q 概率p 概率q X(0) X(n) 5.1 马尔可夫过程的概念 5.1.1 有关定义 转移概率分布函数和转移概率密度的定义： 把马尔可夫过程{X(t), t?T}的条件概率分布函数， F(x2 ; t2 | x1 ; t1}= P{X(t2) x2 | X(t1) = x1} 称为马尔可夫过程的(状态）转移概率函数。 如果 则称f(x; t| x0 ; t0) 为马尔可夫过程的转移概率密度。 5.1 马尔可夫过程的概念 5.1.1 有关定义 齐次马尔可夫过程的定义： 如果马尔可夫过程的转移概率函数或转移概率密度,只与转移前后的状态及相应的二个时刻的时间差有关，而与二个时刻无关，即 F(x2 ; t2 | x1 ; t1)= F(x2 | x1 ; t2 -t1) f(x2 ; t2 | x1 ; t1)= f(x2 | x1 ; t2 -t1) 称具有这种特性的马尔可夫过程为齐次马尔可夫过程。 5.1 马尔可夫过程的概念 5.1.1 有关定义 高阶马尔可夫过程的定义： 如果马尔可夫过程在tn时刻的状态，只与tn时刻以前的tn-1, tn-2,… tn-k这k个时刻的状态有关，而与更前时刻的状态无关，即 F(xn ; tn | xn-1, xn-2,…, xn-k , xn-k-1 ,…, x2 , x1 ;tn-1, tn-2,…, tn-k , tn-k-1 ,…, t2 , t1 )= F(xn ; tn | xn-1, xn-2,…, xn-k;tn-1, tn-2,…, tn-k) 或 f(xn ; tn | xn-1, xn-2,…, xn-k , xn-k-1 ,…, x2 , x1 ;tn-1, tn-2,…, tn-k , tn-k-1 ,…, t2 , t1 )= f(xn ; tn | xn-1, xn-2,…, xn-k;tn-1, tn-2,…, tn-k) 则称具有这种特性的马尔可夫过程为k阶马尔可夫过程。 5.1 马尔可夫过程的概念 5.1.2 切普曼－柯尔莫哥洛夫方程 定理：马尔可夫过程的转移概率密度之间有下列关系： 其中， tktrtn 。此式称为切普曼－柯尔莫哥洛夫(Chapman-Kolmogorov)方程。 [证] 利用由联合概率密度求边缘概率密度公式得 根据条件概率密度公式，上式的被积函数可表示成 5.1 马尔可夫过程的概念 5.1.2 切普曼－柯尔莫哥洛夫方程 带入上式右端有 5.1 马尔可夫过程的概念 5.1.3 马尔可夫过程的分类 （1）时间离散、状态离散的马尔可夫过程——马尔