随机过程_马尔可夫过程-1学案.pptVIP

* * 马尔可夫过程的概念 离散参数马尔可夫链 连续参数马尔可夫链 生灭过程及应用 5 马尔可夫过程 有限维概率分布(簇) 转移概率 绝对概率 极限分布 平稳分布 状态空间的性质 5 马尔可夫过程 5.1 马尔可夫过程的概念 5.1.1 有关定义 随机过程马尔可夫性：（物理描述） 当随机过程在时刻 ti 所处的状态为已知的条件下，过程在时刻 t(ti)所处的状态，与过程在ti时刻以前的状态无关，而仅与在ti时刻的状态有关。这种已知“现在”状态的条件下，“将来”状态与“过去”状态无关的性质，称为马尔可夫性或无后效性。 具有马尔可夫性或无后效性的随机过程，即是马尔可夫过程。 5.1 马尔可夫过程的概念 5.1.1 有关定义 马尔可夫过程定义：（条件概率） 给定随机过程{X(t), t?T},若对于任意n(≥3)个时刻t1t2… tn-1 tn ?T, 有 P{X(tn) xn | X(t1) = x1, X(t2) = x2, …, X(tn-1) = xn-1} = P{X(tn) xn | X(tn-1) = xn-1} 或 F{xn | x1, x2, …, xn-1; t1, t2, …, tn-1}= F{xn; tn| xn-1 ;