[2018年最新整理]信息论与编码-第二章(续).pptVIP

表2-5-1 英文字母出现的概率 符号 概率 符号 概率 符号 概率 符号 概率 空格 0.2 I 0.055 C 0.023 B 0.0105 E 0.105 R 0.054 F,U 0.0225 V 0.008 T 0.072 S 0.052 M 0.021 K 0.003 O 0.0654 H 0.047 P 0.0175 X 0.002 A 0.063 D 0.035 Y,W 0.012 J,Q 0.001 N 0.059 L 0.029 G 0.011 Z 0.001 若用一般传送方式,即采用等概率假设下的信源符号熵 , 则信息效率和冗余度分别为 由上述例子可看出, , 是由于各个符号出现的概率不均匀; , 随着序列增长,字母间的相关性越来越强。所以正是因为信源符号中存在的这些统计不均匀性和相关性，才使得信源存在冗余度。 当英文字母的结构信息已预先充分获得时，可用合理的符号来表达英语，例如传送或存储这些符号，可大量压缩，100页的英语，大约只要29页就可以了。 在实际通信系统中，为了提高传输效率，往往需要把信源的大量冗余进行压缩，即所谓信源编码。 但是考虑通信中的抗干扰问题，则需要信源具有一定的冗余度。因此在传输之前通常加入某些特殊的冗余度，即所谓信道编码，以达到通信系统理想的传输有效性和可靠性。 信息论与编码-信源及信源熵 对于一般平稳信源来说，极限熵为 ，这就是说，如果我们要传送这一信源的信息，理论上来说只需要有传送 的手段即可。但实际上我们对它的概率分布不能完全掌握，如果把它近似成m阶马尔可夫信源，则可以用能传送 的手段去传送具有 的信源，当然这里面就不太经济。我们定义信息效率为： 信息论与编码-信源及信源熵 定义 为信源的冗余度。 由冗余度的定义可见，信源的冗余度能够很好地反映信源输出的符号序列中符号之间依赖关系的强弱。冗余度 越大，表示信源的实际熵 越小，表明信源符号之间的依赖关系越强，即符号之间的记忆长度越长；反之，冗余度越小，表明信源符号之间的依赖关系越弱，即符号之间的记忆长度越短。 信息论与编码-信源及信源熵 当冗余度等于零时，信源的熵就等于极大熵 ，表明信源符号之间不但统计独立无记忆，而且各符号还是等概分布。因此，冗余度可以用来衡量信源输出的符号序列中各符号之间的依赖程度。 例：以符号是英文字母的信源为例，英文字母加上空格共有27个，则最大熵为 信息论与编码-信源及信源熵 但实际上，用英文字母组成单词，再由单词组成句子时，英文字母并不是等概率出现，比如我们知道在英语中E出现的概率大于Q出现的概率。对在英文书中各符号的概率加以统计，可以得出各个字母出现的概率，由此得出第一级近似为无记忆信源的熵： 信息论与编码-信源及信源熵 再考察英语的结构得知，要组成有意义的单词，英文字母的前后出现是有依赖关系的，当前面某个字母出现后，后面将出现什么字母，并不是完全不确定的，而是有一定的概率分布。例如字母T后面出现H、R的可能性较大，出现J、K、L、M、N的可能性极小，而根本不会出现Q、F、X。 考虑到字母之间的依赖性，可以把英语信源做进一步精确的近似，看作一阶或二阶马尔可夫信源，这样可以求得： 信息论与编码-信源及信源熵 通常我们最感兴趣的是两种情况：一种是信源的输出值受限；另一种是信源的输出平均功率受限。下面分别加以讨论。 （1）峰值功率受限条件下信源的最大熵 定理：若信源输出的幅度被限定在[a,b]区域内，则当输出信号的概率密度是均匀分布时，信源具有最大熵。其值等于log(b-a)。 此时， 信息论与编码-信源及信源熵 （2）平均功率受限条件下信源的最大熵 定理：若一个连续信源输出符号的平均功率被限定为P（这里是指的交流功率，即方差 ），则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 . 高斯分布（正态分布）：（其中，m为数学期望，