09第5章连续时间马尔可夫链.pptVIP

第五章：连续时间的马尔可夫链;定义5.1： 设随机过程{X(t),t≥0}，状态空间I={in, n≥0}，若对任意0≤t1t2…tn＋1及i1,i2,…,in+1∈I，有;定义： 若pij(s,t)的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为 其转移概率矩阵简记为;时间轴;一个连续时间的马尔可夫链，每当它进入状态i，具有如下性质： 在转移到另一状态之前处于状态i的时间服从参数为vi的指数分布； 当过程离开状态i时，接着以概率pij进入状态j，;对于指数分布的随机变量X;定理5.1： 齐次马尔可夫过程的转移概率具有下列性质： 证明;证明: ;定义5.3 对于任一t≥0，记;定理5.2 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质： ;例题5.1： 证明:泊松过程{X(t)}为连续时间齐次马尔可夫链。 (1)先证明马氏性 (2)再证明齐次性;Q矩阵和柯尔莫哥洛夫方程;定理5.3 设pij(t)是齐次马尔可夫过程的转移概率且满足正则性条件，则下列极限存在： 称为转移速率或跳跃强度;