随机过程Ch4.ppt

4.4 渐近性质与平稳分布 推论2 如马氏链有一个零常返状态，则必有无限多个零常返状态。 证 设i为零常返状态，则C={j:i?j}是不可约闭集，C中均为零常返状态，故C不能是有限集。否则， 4.4 渐近性质与平稳分布 当j是正常返状态时， 不一定存在，即使存在也可能与i有关。 1 2 3 1 1 例如下面的马氏链中 不存在 4.4 渐近性质与平稳分布 我们考虑 4.4 渐近性质与平稳分布 定理4.14 如j是正常返状态，周期为d，则对任意i及0? r ?d-1，有 证 对d的非正整数倍数的n， (定理4.4，及设v-r=md，则v=md+r) 4.4 渐近性质与平稳分布 于是，对1?N?n有 固定N，先令n??，再令N??，由定理4.7可得 从而 4.4 渐近性质与平稳分布 推论 设不可约、正常返、周期为d的马氏链，其状态空间为C，则对一切i, j?C有 其中 为定理4.11中所给出 当d=1时，则对一切i, j有 例，已知马氏链的转移矩阵 P^2= 0.5100 0.4900 0.4200 0.5800 P^3 = 0.4470 0.5530 0.4740 0.5260 P^4 = 0.4659 0.5341 0.4578 0.5422 P^8= 0.4616 0.5384 0.4615 0.5385 4.4 渐近性质与平稳分布 定理4.15 对任意状态i, j有 推论 如{Xn}不可约、常返，则对任意 i, j有 4.4 渐近性质与平稳分布 下面考虑平稳分布 设是{Xn, n?0}齐次马尔可夫链，状态空间为I，转移概率为pij 定义 称概率分布{?j , j?I}为马尔可夫链的平稳分布，若 例如，设马氏链的状态空间I={1,2}，那么平稳分布 应满足 ? =(?1, ?2) ?1+?2=1 ? = ?P 4.1 马尔可夫链与转移概率 初始概率 绝对概率 初始分布 绝对分布 初始概率向量 绝对概率向量 定义 4.1 马尔可夫链与转移概率 设{Xn，n?T }为马尔可夫链，则对任意整数j?I和n?1 ，绝对概率pj(n)具有性质 (1) (2) (3) PT(n)=PT(0)P(n) (4) PT(n)= PT(n-1)P 定理4.2 4.4 渐近性质与平稳分布 注： (1)若初始概率分布{pj , j?I}是平稳分布，则 pj = pj(1)= pj(2) = ? = pj(n) (2)对平稳分布{?j , j?I}，有 矩阵形式 ? = ?P(n) 其中? =(?j)，P(n) =( ) 4.4 渐近性质与平稳分布 定理4.16 不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布 推论1 有限状态的不可约非周期马尔可夫链必存在平稳分布。(定理4.13推论1) 推论2 若不可约马尔可夫链的所有状态是非常返或零常返，则不存在平稳分布。 4.4 渐近性质与平稳分布 推论3 若{?j , j?I}是马尔可夫链的平稳分布，则 例4.16 设马尔可夫链的转移概率矩阵为 求马尔可夫链的平稳分布及各状态的平均返回时间。 4.4 渐近性质与平稳分布 解 因为马尔可夫链是不可约非周期有限状态的，所以平稳分布存在，设? =(?1, ?2, ?3 )，则? = ? P，?1+?2+?3=1即 各状态的平均返回时间为 4.4 渐近性质与平稳分布 例4.17 设马尔可夫链具有状态空间I={0,1,2,?}，转移概率为pi,i+1=pi , pii=ri , pi,i-1=qi (i ? 0)，其中q0=0, pi , qi 0, pi +ri+qi=1。此马尔可夫链为生灭链，它是不可约的。记a0=1， 证此马尔可夫链存在平稳分布的充要条件为 4.4 渐近性质与平稳分布 证 设{?j , j?I}是平稳分布 4.4 渐近性质与平稳分布 4.4 渐近性质与平稳分布 例4.18 设马尔可夫链转移概率矩阵为 求每一个不可约闭集的平稳分布。 4.4 渐近性质与平稳分布 解 从状态转移图看出，状态空间可分解为两个不可约常返闭集C1={2,3,4}和C2={5,6,7}，一个非常返