第七讲-马尔可夫链.pptVIP

2021/3/26 * 1 2 … N P … … … 由数学期望的定义，可得 称 为状态i的平均返回时间。 设i是一常返态，则从i出发可经过n 步首次返回i， 在 的条件下的分布列为 设i是常返态，如果 ，则称状态i是正常返态； 如果 ，则称状态i是零常返态。 2021/3/26 * 对于状态i，若正整数集合 非空，则称该集合的最大公约数L为状态i的周期。 若 ，则称状态i是周期的。 若 ，则称状态i是非周期的。 如果状态i是非周期且正常返的，则称状态i是 遍历的。 2021/3/26 * 定理 设i为常返状态，有周期 ,则 马氏状态分类图 状态空间 周期 常返 非周期 非常返 正常返 零常返 遍历 2021/3/26 * 状态分类判别法： 2021/3/26 * 、 定理 若 ，则 （1）i与j同为常返或同为非常返； （2）若i与j常返，则i与j同为正常返或同为零常返； （3）i与j或同为非周期的，或同为周期的且有相同的周期。 上述讨论常返性,下面讨论相通性 2021/3/26 * 3．遍历性与平稳分布 设齐次马氏链 的状态空间为E,若对一切 ,存在不依赖于i的极限 则称马尔可夫链具有遍历性。并称 为状态j的稳态概率。 说明:无论从那个状态i出发,当转移步数充分大时, 转移到状态j的概率接近 ，即当n足够大时， 可用 作为 的近似值。 2021/3/26 * 则此链是遍历性的，且 是方程组 定理 对于一有限状态的马氏链 ， 若存在一正整数m，使 的唯一解。 马氏链的遍历性 利用上述的定理，可以判断齐次马氏链的遍历性； 以及求出稳态概率 ，此时稳态概率即为平稳分布。 2021/3/26 * 马氏链的平稳性 物理意义:对于任意的时刻,系统处于同一状态的概率是 相同的。 定义:若齐次马氏链的概率分布不随时间n的变化而变化。即满足 2021/3/26 * * * 一个非周期，不可约的马氏链是常返的，它存在一个平稳分布 ，即 平稳分布就是极限分布。 遍历的马氏链一定具有平稳性，但平稳的马氏链不一定具有遍历性（不遍历的马氏链也可具有平稳性）。 2021/3/26 * 例 设马尔可夫链的状态空间 ，一步转移概率矩阵 试对该链进行分类，并说明其遍历性。 解 根据一步转移概率矩阵可画出如图所示的状态转移图。从图中可 知，①和②都是非周期的正常返状态，③和④状态都是非常返状 态。 由于 说明 存在（i=1,2,3,4）,但与i有关，所以该链不是遍历的。 2021/3/26 * * * 马尔可夫序列 1 定义 设 表示随机过程 在 为整数时刻的取样的随机序列，记为 (简记为 或 ) 则可按以下方式定义马尔可夫序列。 若对于任意的n，有 则称 为马尔可夫序列。此概率密度函数称为转移概率密度函数。进一步可以推出 即联合概率密度函数可由转移概率密度和起始时刻的一维概率密度来确定。 2021/3/26 * * * 2 马尔可夫序列的性质 (1) 一个马尔可夫序列的子序列仍为马尔可夫序列。 (2) 一个马尔可夫序列按其相反方向组成的逆序列仍为 马尔可夫序列，即对于任意的整数n和k,有 (3) (4) 若