三节连续时间马尔可夫链.pptVIP

第三节连续时间马尔可夫链 1 连续时间马尔可夫链定义 连续时间的马尔可夫链是这样一种随机过程，它： 具有无记忆性 状态空间是离散的 时间上是连续的 与离散时间的马尔可夫链的不同在于其状态发生变化的时刻是任意时刻，是连续值。 1 连续时间马尔可夫链定义 取值在非负整数集E上的随机过程X={Xt, t?T=[0,?)}, 如果对一切T中的时刻0?t1?t2?…?tn+1及满足 的任意状态 成立着 则称X是连续时间的马尔可夫链。 n n＋1 in in+1 与此历史无关 1 连续时间马尔可夫链定义 记pij(s,t)=P(Xt=j|Xs=i) 若此转移概率只与t-s有关，则称它为X的齐次转移概率函数，此马氏链X为连续时间齐次马氏链。 记pij(t),成为长度为t的时间区间上的转移概率 为连续时间马氏链的齐次转移矩阵 其中 1 连续时间马尔可夫链定义 若满足下述条件 则称P(t)是X的标准转移矩阵。 有： 2 K-C方程 1.K-C方程： 写成矩阵的形式: P(t+s)=P(t)·P(s) 2. K氏前向方程 3. K氏后向方程 Q称作密度矩阵，或瞬时概率转移矩阵，也叫瞬时强度转移矩阵，通常称作Q矩阵。 （书31页） 3 Q矩阵 若 则 排队论中Q矩阵性质 行和为0 对角线元素为负数 如果Q矩阵中元素为0，则表示这种直接转移不可能发生 3 Q矩阵 齐次马尔可夫链状态之间的瞬时转移可以用图表示，图上标明状态之间瞬时强度转移值qij，叫状态流图 0 1 2 2.5 6 4 1 1 状态流图 4 Q矩阵?P(t) 依据K氏微分方程，可以从Q矩阵求得P(t), P(0)=I. 例：考察E＝{0,1}的连续时间马氏链X，设t极小 4 绝对概率 初始分布(p0 ,p1 ,p2 ,p3 , …) pi=P(X(0)=i)=?i(0) 绝对分布(?0(t), ?1(t), ?2(t), ?3(t)…) ?j(t)=P(X(t)=j)= 由初始分布与t时间区间转移概率矩阵求t时刻绝对分布 为求瞬时概率分布函数的方程组 5 平稳分布 定义 若 存在，且 ，则{?j}称为齐次马尔可夫链的平稳分布 如何判别连续马尔可夫链的平稳分布必定存在？ 转移概率矩阵是标准的 不可约的齐次马氏链，则极限存在，且与初始分布无关 正常返的齐次马氏链，则此极限值为平稳分布，且全部大于0 5 平稳分布 如何求离散马尔可夫链的平稳分布？ 定理3.1 若 存在，则 。 根据 若存在平稳分布，则