马尔可夫过程概要1.pptVIP

平稳分布 [定理] 不可约非周期马氏链是正常返的充要条件：存在平稳分布，且此平稳分布就是极限分布 平均返回时间和平稳分布互为倒数 [例] （例4.16）设马尔可夫链的转移概率矩阵为P，求马氏链的平稳分布及各状态的平均返回时间。 解： 因为该马氏链是不可约的非周期有限状态，所以存在平稳分布。 各状态的平均返回时间分别为： 平稳分布为： 例 设有状态空间S={0,1,2,3,4,5,6}的齐次马尔可夫链， 其一步转移概率矩阵为 (1)试对S进行分类，并说明各状态类型 (2) 求平稳分布，其平稳分布是否唯一？ 2 5 0 1 6 3 4 (1) 不可约闭子集 (2) 由(1)知,该链有三个不同的正常返不可约闭集 所以平稳分布不唯一 三个闭集对应的转移概率矩阵分别为 (2) 由(1)知,该链有三个不同的正常返不可约闭集 解方程组 平稳分布为 例 设有6个球（其中2个红球，4个白球）分放于甲、乙两个盒子中，每盒放3个，今每次从两个盒中各任取一球并进行交换，以 表示开始时甲盒中红球的个数， （ ）表示经n次交换后甲盒中的红球数。 ( 1 ) 求马氏链{ ， }的转移概率矩阵； ( 2 ) 证明{ ， } 是遍历的； （3）求 （4）求 解 其一步转移矩阵为 甲 乙 红球0 白球3 红球2 白球1 红球1 白球2 红球1 白球2 红球2 白球1 红球0 白球3 并作出状态传递图 1/3 2/9 5/9 2/3 2/9 1/3 0 1 2 2/3 （2）由于它是一个有限马氏链，故必有一个常返态(推论1)， 又链中三个状态0、1、2都相通，所以每个状态都是常返态。 所以是一个不可约的有限马氏链（全部状态互通），从而每个状态都是正常返的。 所以此链为非周期的。 故此链是不可约非周期的正常返链，即此链是遍历的（平稳分布推论1）。 （2）可以利用定理证明遍历性 解之得 故得 作业 有一马尔科夫链，其一步转移概率矩阵为 讨论此马尔科夫链的遍历性，并求其极限分布 军用PKI体系结构及其关键技术 * 西安电子科技大学通信工程学院 * * * * * * * * 例 甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，乙胜的概率是q，和局的概率是r ,（ p+q+r=1）。设每局比赛后，胜者记“+1”分，负者记“-1”分，和局不记分。当两人中有一人获得2分结束比赛。以 表示比赛至第n局时甲获得的分数。 （1）写出状态空间； （3）问在甲获得1分的情况下，再赛二局可以结束比赛的概率是多少？ 解 （1） 记甲获得“负2分”为状态1，获得“负1分”为状态2，获得“0分”为状态3，获得“正1分”为状态4，获得“正2分”为状态5，则状态空间为 一步转移概率矩阵 （2）二步转移概率矩阵 （3） 从而结束比赛的概率； 从而结束比赛的概率。 所以题中所求概率为 绝对概率 称为马氏链的绝对分布或称绝对概率 计算公式 绝对概率由初始分布和n维转移概率完全确定 绝对概率 pj(n) 的性质 [定理] 设 { Xn , n ?T } 为马尔可夫链，则对于任意整数n ? 1 和 j ? I ，绝对概率 pj (n) 具有下列性质： 马氏链状态的极限分布 知道了多步转移矩阵，已知初始分布可计算马氏链多步后取某个状态的概率 如果时间无限长，取某个状态的概率是多少？反射壁问题为例 随着时间无限长，出现5种状态的概率趋于稳定。 多步转移概率当步数趋于无穷时的极限问题 如果上述极限存在且和初始状态无关，则马尔可夫链是遍历的。 只要找到一个正整数m，使得m步转移概率矩阵无零元素，则该马氏链就是遍历的。 反射壁 遍历 ；吸收壁非遍历。计算 一个问题：社会学家如何确定社会阶层高职业阶层或较低阶层在社会中的比例？ 马尔可夫极限概率的应用 1 基本概念 2 状态类别的划分和判别 3 状态间的关系 返回概率 平均返回时间 周期 分类 判别 第二节 Markov链的状态分类及性质 定义（可达、互通） 性质 互通的两个状态之间的关系 状态分类的原因 瞬态分析 某一固定时刻的概率特性 n步转移概率 或绝对概率 稳态分析 n趋于无穷大时系统的概率特性，这种概 率特性与状态的关系如何 需要对状态进行分类 Markov链的状态分类 一、基本概念 1.返回概率 自状态 i出发，经过n步首次到达状态j 的概率 自状态i出发，经有限步终于到达状态j的概率 返回概率-----自状态i出发，经有限步终于返回状态 i的概率 与 的关系 上式可用来