第三章 离散信源15.pptVIP

则求遍历性的m阶的马尔可夫信源熵的公式: 其中： 是马尔可夫链的稳态分布,可利用： WP=W和 求解出。 ____表示信源处于状态Sj时发出一个消息符号的平均不确定性 3.举例说明马尔可夫信源熵的计算方法 例3-9: 有一个二进制二阶马尔可夫信源，其信源符号集为A={0,1},条件概率为： 求熵。 解:由例7可知状态转移矩阵为： 可知：此信源是遍历性的马尔可夫信源，稳态分布存在 设稳态分布为： 则利用WP=W和 可知： 对于遍历性马尔可夫信源有 由 则有： 3.5? 信源的相关性和剩余度 一.信源的相关性 信源输出符号之间的依赖关系 对于离散平稳信源有 当信源输出符号之间的相关程度越长，实际熵越小 二.信源冗余度γ 例3-10: 英文26个字母加空格共27个符号，根据统计出现的概率如表所示，则英文字母携带的最大信息量是多少？冗余度为多少？ 序号 字母 出现概率 序号 字母 出现概率 1 空格 0.1817 15 M 0.02105 2 E 0.1073 16 U 0.02010 3 T 0.0856 17 G 0.01633 4 A 0.0668 18 Y 0.01623 5 O 0.0654 19 P 0.01623 6 N 0.0581 20 W 0.01260 7 R 0.0559 21 B