武汉理工大学信息理论与编码第二章 信息的度量（四）.pdfVIP

2.8 离散有记忆信源的熵 一、N 阶平稳信源的熵为联合熵 H (X N ) H (X X X ) bit / N长符号串 1 1 N 或 H N (X ) 1 H (X N ) N 1 H (X X X N ) bit / 符号 N 1 1 二、对于离散有记忆信源，一般考虑其 极限熵 H (X ) lim H N (X ) N  1 lim H (X X X N )bit / 符号 1 2 N  N 三、熵的性质 1、HN (X)是非增的，有界的 0 HN (X ) H (X )  H (X ) N 1 1 H (X )  0 (证明见姜丹，信息论于编码第二版，中国科技 大学出版社) 其中， H (X)=H(X)，是X 为DMS时的熵； 1 H (X)=H (X)，是X 为等概分布时 0 max 的熵，即最大熵 推论1：信源内部有关联（也称有记忆），会使熵 降低，当然实在信息也会降低。 推论2 ：H∞(X)存在； 若X 是无记忆的，有 1 N 1 H  (X ) lim H (X ) lim NH (X ) H (X ) N  N N  N 因为信源的实在信息在数值上等于其平均不确定 性，因此， 一般有I (X ) H (X )； 2.9 马尔可夫信源的信息熵 2.9.1 马尔可夫链 一、概念 设随机序列{X n ,n T } 为一马尔可夫过程， T 0,1,2, 为离散的时间参数集合， X 状态空间集S ＝S ,S , ,S , n  1 2 J  若对所有正整数n T ， 如果条件概率均满足 P {X n Si | X n1 Si ,X n2 Si , ,X 1 Si } n n1 n2 1 P {X n Si | X n1 Si } n n1 则称随机过程{X n ,n T }为一个马尔可夫链。 直观含义：如果系统在n-1时刻处于状态Sn- ,则在将来时刻n 的状态S 与过去时刻n- 1 n 2,…,1的状态S ,S ,…,S 无关，仅与现在