随机信号处理教程 第7章 马尔可夫过程.pptVIP

随机信号处理教程 ——献给进入信息领域学习的你！ 随机信号处理教程 第1章 概率论基础 第2章 随机过程 第3章 随机过程的功率谱密度 第4章 随机信号通过线性系统 第5章 窄带系统和窄带随机信号 第6章 随机信号通过非线性系统 第7章 马尔可夫过程 第七章 马尔可夫过程 第七章 马尔可夫过程 7.1 马尔可夫链 定义 设随机过程 在每一时刻 (n=1,2,3,…)的状态为 ，它可以取状态 、 、… 、之一，而且过程的状态只在 、 、…、 、…可列个时刻 发生状态转移。在这种情况下，若过程在时刻变成任一状态 (i=1,2,…,N)的概率，只与该过程在时刻的状态有关，而与时刻 以前过程所处的状态无关，即 (7.1.1) 则称该过程为马尔可夫链，简称为马氏链。 7.1 马尔可夫链 马尔可夫链在时刻 出现 的条件下，在时刻 出现 的条件概率被称为转移概率，记为 ，即 (7.1.2) 式中 都是正整数， 。 (7.1.5) (7.1.6) 通常我们称满足式(7.1.5)和式(7.1.6)的矩阵为随机矩阵，其所有元素为非负元素且每行元素和为1。 7.1 马尔可夫链 对于马尔可夫链，其步转移概率满足如下关系 (7.1.11) 式(7.1.11)称为切普曼-柯尔莫哥洛夫方程. 切普曼-柯尔莫哥洛夫方程是一个重要方程。它表明：由于马尔可夫链的无后效性，马尔可夫链由状态 经过步转移到达状态 的过程，可以看成先经过 ( )步转移到达某个状态 (r=1,2,…,N)，然后再由状态 经过 ( )步转移到达状态 。 7.1 马尔可夫链 如果对于两个状态 与 ，存在某个 ，使 ，即从状态 出发，经n步转移以正的概率到达状态 ，则称为从状态 可达状态 ，并记为 。反之，如从状态 不可达状态 ，记为 。此时，对一切 ，总有 。 对于两个状态 与 ，如果从状态 可达状态 ，即 ，且从状态 也可达状态 ，即 ，则称状态 和状态 相通，并记为 。 7.1 马尔可夫链 7.1 马尔可夫链 7.1 马尔可夫链 由一些状态组成的集合C，如果对于任意一个状态 C，从状态 出发，不能到达C以外的任何状态 （ C），则称状态集合C为闭集。 一个闭集可以包含一个或多个状态。如果单个状态 构成一个闭集，则称此闭集为吸收态。此时有 （ ）， 。 定理8 所有常返态构成一个闭集C 定理9 在一个马尔可夫链中，所有常返态可分为若干个互不相交的闭集{ ， }且有 (1) 中任意两个状态相通。 (2) 中的任一状态和 中的任一状态，当时 ，互不相通。 7.1 马尔可夫链 若有正整数t (t＞1)，仅在n＝t，2t，3t，…时， ，即在n不能被t整除时， ，则称状态 是具有周期为t的周期性状态。当不存在上述的t时，状态 称为非周期状态。 例如，马尔可夫链从状态 出发，如果仅当n＝2，4，6，…时，过程有可能返回状态 ，那么取2，4，6，…的最大公约数t＝2，则t＝2是该马尔可夫链的周期，这时，我们称马尔可夫链是周期的或者说状态 是周期性状态。 7.1 马尔可夫链 如果齐次马尔可夫链对一切状态 、 存在不依赖于 的极限 (7.1.31) 则称该马尔可夫链具有遍历性。式中 为该马尔可夫链的n步转移概率。 定理 对有限马尔可夫链，如果存在正整数k，使