随机过程电子教案第四章第四讲.pptVIP

第四讲 极限定理和平稳分布 主要内容：周期状态与非周期状态；遍历态；极限定理；平稳分布；极限定理与平稳分布的关系。 重 点：1、极限定理 2、平稳分布 难 点：极限定理与平稳分布 4.5 极限定理与平稳分布 4.5.1 渐近性质与平稳分布 考虑 渐近性质 定理4.10.1 如j非常返或零常返，则 证 若j非常返，则由定理4.5， 从而 若j零常返，则由定理4.6， 由引理4.1，对Nn，有 固定N，先令n??，则 推论1 有限状态的马氏链，不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限状态的马氏链必为正常返的。 证 设E={0, 1, ?, N}，如E全是非常返状态，则对任意i, j?E，由定理4.10.1知 故 矛盾。 如C含有零常返状态i，则C={j:i?j}是有限不可约闭集，由定理4.9知，C中均为零常返状态，由定理4.10.1知， 由定义4.8知 所以 推论2 如马氏链有一个零常返状态，则必有无限多个零常返状态。 证 设i为零常返状态，则C={j:i?j}是不可约闭集，C中均为零常返状态，故C不能是有限集。否则， 定理4.14 如j是正常返状态，周期为d，则对任意i及0? r ?d-1，有 证 对d的非正整数倍数的n， (定理4.4，及设v-r=md，则v=md+r) 于是，对1?N?n有 固定N，先令n??，再令N??，由定理4.7可得 从而 推论 设不可约、正常返、周期为d的马氏链，其状态空间为C，则对一切i, j?C有 其中 为定理4.11中所给出 当d=1时，则对一切i, j有 4.5.2 遍历态 设是{Xn, n?0}齐次马尔可夫链，状态空间为E，转移概率为pij 定义 称概率分布{?j , j?E}为马尔可夫链的平稳分布，若 初始概率 绝对概率 初始分布 绝对分布 初始概率向量 绝对概率向量 注： (1)若初始概率分布{pj , j?E}是平稳分布，则 pj = pj(1)= pj(2) = ? = pj(n) (2)对平稳分布{?j , j?E}，有 矩阵形式 ? = ?P(n) 其中? =(?j)，P(n) =( ) 例4.16 设马尔可夫链的转移概率矩阵为 求马尔可夫链的平稳分布及各状态的平均返回时间。 解 因为马尔可夫链是不可约非周期有限状态的，所以平稳分布存在，设? =(?1, ?2, ?3 )，则? = ? P，?1+?2+?3=1即 各状态的平均返回时间为 例4.17 设马尔可夫链具有状态空间I={0,1,2,?}，转移概率为pi,i+1=pi , pii=ri , pi,i-1=qi (i ? 0)，其中q0=0, pi , qi 0, pi +ri+qi=1。此马尔可夫链为生灭链，它是不可约的。记a0=1， 证此马尔可夫链存在平稳分布的充要条件为 证 设{?j , j?I}是平稳分布 例4.18 设马尔可夫链转移概率矩阵为 求每一个不可约闭集的平稳分布。 解 从状态转移图看出，状态空间可分解为两个不可约常返闭集C1={2,3,4}和C2={5,6,7}，一个非常返集N={1}。在常返集上求平稳分布。 在C1上，对应的转移概率矩阵为 C1上的平稳分布为{0, 0.4, 0.2, 0.4, 0, 0, 0} 同理可求得C2上的平稳分布为 {0, 0, 0, 0, 1/3, 1/3, 1/3} 马尔可夫过程 （无后效性）  马尔可夫链（状态、时间离散） 齐次马尔可夫链（转移概率与时间无关） 正常返 零常返 j非常返 j常返 不存在平稳分布 零常返、非常返 ? 存在平稳分布 × ? ? 存在平稳分布 正常返 × ? 正常返 ? ? 存在无限个零常返状态 零常返 结 论 常返性 周期性 不可约性 有限状态 * * 当j是正常返状态时， 不