随机过程第三章马尔科夫连分析.pptVIP

* * 的渐进性质与平稳分布 * * * 定义 称概率分布{πj,j∈I}为马尔可夫链的平稳分布，若它满足 定理 不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布 。 推论1：有限状态的不可约非周期马氏链必存在平稳分布。 推论2： 若所有状态是非常返或零常返的，则不存在平稳分布。 * 例题 若马尔可夫链有三状态，其概率转移矩阵为 问此马尔可夫链是否遍历，若遍历求其平稳分布。 例：马尔科夫连的状态空间为{1,2,3,4,5,6,7}，其转移概率矩阵为 * 作业：4.1 4.6 4.12 * 根据例题我们可以得到如下结论：P(n)=Pn * 定理4.2说明绝对概率也具有类似于n步转移概率的性质 * 定理4.3说明马尔可夫链的有限维分布完全由它的初始概率和一步转移概率所决定。 因此，只要知道初始概率和一步转移概率，就可以描述马尔可夫链的统计特性。 * * 闭集的意思是自C的内部不能到达C的外部，这意味着一旦质点进入闭集C中，它将永远留在C中运动。 * 第三章 马尔可夫链 马尔可夫链定义 一步转移概率及多步转移概率 初始概率及绝对概率 Chapman-Kolmogorov方程 马尔可夫链状态分类 遍历的马尔可夫链及平稳分布 * 马尔可夫过程 将来的状态只与当前状态有关，与过去状态无关 ，即无后效性 * 马尔可夫链定义