26第2章2245马尔可夫信源.pptVIP

第2章 信源熵 2.2 多符号离散平稳信源 2.2.1 序列信息的熵 2.2.2 离散平稳信源的数学模型 2.2.3 离散平稳信源的信息熵和极限熵 2.2.4 马尔可夫信源 2.2.5 信源冗余度和信息变差 马尔可夫信源－研究意义 为了求解平稳信源的极限熵，可以用N维的条件熵来近似 要近似离散平稳信源的极限熵，需要知道从1维－N维的条件概率分布，这在一般情况下比较困难 马尔可夫信源－研究意义 虽然马尔可夫信源是一个非平稳的信源，但是当马尔可夫信源进入稳定状态后，就可以看成一个平稳信源 马尔可夫信源熵的求解，只需要知道与前面N－1个分量的相互关系，即只需要知道N维条件概率分布即可，受约束程度大大降低 有限状态马尔可夫链 转移概率pij(m,n) 为了知道系统状态的转化情况，引入转移概率 它表示， 已知在时刻m系统处于状态Ei（Sm取值Ei）的条件下， 经(n-m)步后转移到状态Ej的概率； 或说，在时刻n系统处于状态Ej（Sn取值Ej）的概率； 故，它实际上是一个条件概率。 转移概率的性质： 基本（一步）转移概率 0,1,...,k步转移概率 K步转移矩阵 时齐马尔可夫链 切普曼-柯尔莫哥洛夫方程 具有遍历性的马尔可夫链 马尔可夫链的稳态分布 马尔可夫信源－基本概念 绝对的平稳信源是不存在的，非平稳信源仍然是主流。但一般的非平稳信源研究起来非常复杂。 马尔可夫