中科院随机过程最新课件第7-8讲.pdf

中国科学院大学2013～2014 第一学期 随机过程讲稿 孙应飞 第二章 Markov 过程 7 ．参数连续状态离散的马氏过程 （一）参数连续状态离散的马氏过程的转移概率 定义：设{X (t) , t ≥0}是取值于状态空间S 的随机过程，S 是有限或无限可 列的，如果对于任意的正整数n ，任意的0 ≤t1 t2 Ltn tn+1 ，及任意的状 态i ,i ,L,i ,i ∈S ，均有： 1 2 n n+1 P {X (t ) i X (t ) i ,X (t ) i ,L,X (t ) i } n+1 n+1 1 1 2 2 n n P {X (t ) i X (t ) i } n+1 n+1 n n 则称此随机过程为参数连续状态离散的马氏过程（纯不连续马氏过程）。 对于纯不连续马氏过程，有： ′ ′ P {X (t ) j X (t ) , 0 ≤t ≤t } P {X (t ) j X (t ) i} t ≤t , i,j ∈S 2 1 2 1 1 2 记： p (t ,t ) ˆ P {X (t ) j X (t ) i} i j 1 2 2 1 称此条件概率为纯不连续马氏过程的转移概率。 显然有： p (t ,t ) ≥0  i j 1 2 ∑p (t ,t ) 1 i ∈S j ∈S i j 1 2 如果p (t ,t ) 仅为时间差t t −t 的函数，而与t 和t 的值无关，则称此 i j 1 2 2 1 1 2 纯不连续马氏过程为齐次的。此时 p (t) p (t ,t ) ˆ P {X (t ) j X (t ) i} t t −t i j i j 1 2 2 1 2 1 中国科学院大学2013～2014 第一学期 随机过程讲稿 孙应飞 p (t) 0 i, j S , t 0  i j ≥ ∈ ≥  p (t) 1 i S , t 0 ∑ i j ∈ ≥ j ∈S 以下我们主要讨论齐次纯不连续马氏过程。 纯不连续马氏过程的C－K 方程： 一般情形：