随机过程Ch4马尔可夫链.ppt

例，已知马氏链的转移矩阵 P^2= 0.5100 0.4900 0.4200 0.5800 P^3 = 0.4470 0.5530 0.4740 0.5260 P^4 = 0.4659 0.5341 0.4578 0.5422 P^8= 0.4616 0.5384 0.4615 0.5385 4.4 渐近性质与平稳分布 定理4.15 对任意状态i, j有 推论 如{Xn}不可约、常返，则对任意 i, j有 4.4 渐近性质与平稳分布 下面考虑平稳分布 设是{Xn, n?0}齐次马尔可夫链，状态空间为I，转移概率为pij 定义 称概率分布{?j , j?I}为马尔可夫链的平稳分布，若 例如，设马氏链的状态空间I={1,2}，那么平稳分布 应满足 ? =(?1, ?2) ?1+?2=1 ? = ?P 4.1 马尔可夫链与转移概率 初始概率 绝对概率 初始分布 绝对分布 初始概率向量 绝对概率向量 定义 4.1 马尔可夫链与转移概率 设{Xn，n?T }为马尔可夫链，则对任意整数j?I和n?1 ，绝对概率pj(n)具有性质 (1) (2) (3) PT(n)=PT(0)P(n) (4) PT(n)= PT(n-1)P 定理4.2 4.4 渐近性质与平稳分布 注： (1)若初始概率分布{pj , j?I}是平稳分布，则 pj = pj(1)= pj(2) = ? = pj(n) (2)对平稳分布{?j , j?I}，有 矩阵形式 ? = ?P(n) 其中? =(?j)，P(n) =( ) 4.4 渐近性质与平稳分布 定理4.16 不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布 推论1 有限状态的不可约非周期马尔可夫链必存在平稳分布。(定理4.13推论1) 推论2 若不可约马尔可夫链的所有状态是非常返或零常返，则不存在平稳分布。 4.4 渐近性质与平稳分布 推论3 若{?j , j?I}是马尔可夫链的平稳分布，则 例4.16 设马尔可夫链的转移概率矩阵为 求马尔可夫链的平稳分布及各状态的平均返回时间。 4.4 渐近性质与平稳分布 解 因为马尔可夫链是不可约非周期有限状态的，所以平稳分布存在，设? =(?1, ?2, ?3 )，则? = ? P，?1+?2+?3=1即 各状态的平均返回时间为 4.4 渐近性质与平稳分布 例4.17 设马尔可夫链具有状态空间I={0,1,2,?}，转移概率为pi,i+1=pi , pii=ri , pi,i-1=qi (i ? 0)，其中q0=0, pi , qi 0, pi +ri+qi=1。此马尔可夫链为生灭链，它是不可约的。记a0=1， 证此马尔可夫链存在平稳分布的充要条件为 4.4 渐近性质与平稳分布 证 设{?j , j?I}是平稳分布 4.4 渐近性质与平稳分布 4.4 渐近性质与平稳分布 例4.18 设马尔可夫链转移概率矩阵为 求每一个不可约闭集的平稳分布。 4.4 渐近性质与平稳分布 解 从状态转移图看出，状态空间可分解为两个不可约常返闭集C1={2,3,4}和C2={5,6,7}，一个非常返集N={1}。在常返集上求平稳分布。 4.4 渐近性质与平稳分布 在C1上，对应的转移概率矩阵为 C1上的平稳分布为{0, 0.4, 0.2, 0.4, 0, 0, 0} 同理可求得C2上的平稳分布为 {0, 0, 0, 0, 1/3, 1/3, 1/3} j常返 j非常返 零常返 正常返 马尔可夫过程 （无后效性）  马尔可夫链（状态、时间离散） 齐次马尔可夫链（转移概率与时间无关） 有限状态 不可约性 周期性 常返性 结 论 零常返 存在无限个零常返状态 ? ? 正常返 ? × 正常返 存在平稳分布 ? ? × 存在平稳分布 ? 零常返、非常返 不存在平稳分布 I 初始概率、绝对概率 i pi(0) pi(t)