连续时间马尔可夫链.ppt

第三节连续时间马尔可夫链 1 连续时间马尔可夫链定义 连续时间的马尔可夫链是这样一种随机过程，它： 具有无记忆性 状态空间是离散的 时间上是连续的 与离散时间的马尔可夫链的不同在于其状态发生变化的时刻是任意时刻，是连续值。 1 连续时间马尔可夫链定义 取值在非负整数集E上的随机过程X={Xt, tT=[0,)}, 如果对一切T中的时刻0t1t2…tn+1及满足 的任意状态 成立着 则称X是连续时间的马尔可夫链。 n n＋1 in in+1 与此历史无关 1 连续时间马尔可夫链定义 记pij(s,t)=P(Xt=j|Xs=i) 若此转移概率只与t-s有关，则称它为X的齐次转移概率函数，此马氏链X为连续时间齐次马氏链。 记pij(t),成为长度为t的时间区间上的转移概率 为连续时间马氏链的齐次转移矩阵 其中 1 连续时间马尔可夫链定义 若满足下述条件 则称P(t)是X的标准转移矩阵。 有： 2 K-C方程 1.K-C方程： 写成矩阵的形式: P(t+s)=P(t)·P(s) 2. K氏前向方程 3. K氏后向方程 Q称作密度矩阵，或瞬时概率转移矩阵，也叫瞬时强度转移矩阵，通常称作Q矩阵。 （书31页） 3 Q矩阵 若 则