随机过程第三章马尔科夫链.pptVIP

* * 的渐进性质与平稳分布 * * * 定义 称概率分布{πj,j∈I}为马尔可夫链的平稳分布，若它满足 定理 不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布 。 推论1：有限状态的不可约非周期马氏链必存在平稳分布。 推论2： 若所有状态是非常返或零常返的，则不存在平稳分布。 * 例题 若马尔可夫链有三状态，其概率转移矩阵为 问此马尔可夫链是否遍历，若遍历求其平稳分布。 例：马尔科夫连的状态空间为{1,2,3,4,5,6,7}，其转移概率矩阵为 任一马尔可夫链的状态空间I，可唯一的分解成有限个或可列个互不相交的 子集D,C1,C2, …之和，使得每一Cn是常返态组成的不可约闭集； D由全体非常返状态组成，自Cn中的状态不能到达D中的状态。 把一步转移概率矩阵行、列按照分解的次序重新排列，不可约闭集在前，D在后，则P矩阵可改写为所谓的标准形： 吸收马尔科夫链 如果只关心非常返状态与各闭集之间的关系，忽略闭集内部的转移，则可把各闭集内部的状态合并成一个状态—吸收态（pii=1），P矩阵可进一步改写为： 例如：马尔科夫链的状态空间为I={1,2,…,10}，其转移概率矩阵为： 吸收马尔科夫链性质 2：Q矩阵中至少有一行的和不为1（亚随机矩阵），Qn收敛到0矩阵（n趋于无限）。 3：定义W=I+