[工学]随机过程第四章 马尔科夫连.pptVIP

* * * 状态空间的分解 定义： 状态空间I的子集C称为闭集，如果对任意 及 都有 定义： 闭集C称为不可约的，如果C的状态互通。 定义： 马尔可夫链称为不可约的，如果其状态空间不可约。 * * 3）D由全体非常返状态组成，自Cn中的状态不能到达D中的状态。 状态空间的分解定理： 任一马尔可夫链的状态空间I，可唯一的分解成有限个或可列个互不相交的 子集D,C1,C2, …之和，使得 1） 每一Cn是常返态组成的不可约闭集； 2）Cn中的状态同类，或全是正常返，或全是零常返。 它们有相同的周期且fjk=1,j,k∈Cn。 * * 的渐进性质与平稳分布 * * * 定义 称概率分布{πj,j∈I}为马尔可夫链的平稳分布，若它满足 定理 不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布 。 推论1：有限状态的不可约非周期马氏链必存在平稳分布。 推论2： 若所有状态是非常返或零常返的，则不存在平稳分布。 * 例题 若马尔可夫链有三状态，其概率转移矩阵为 问此马尔可夫链是否遍历，若遍历求其平稳分布。 例：马尔科夫连的状态空间为{1,2,3,4,5,6,7}，其转移概率矩阵为 * 作业：4.1 4.6 4.12 * 根据例题我们可以得到如下结论：P(n)=Pn * 定理4.