第1章 通信概述分析.pptVIP

　由于平均信息量同热力学中的熵形式相似，故通常又称它为信息源的熵，平均信息量的单位为bit/符号(比特/符号)。 　　当离散信息源中每个符号等概出现，而且各符号的出现为统计独立时，该信息源的信息量最大。此时最大熵（平均信息量）为 例　 设由5个符号组成的信息源， 其相应概率为 试求信源的平均信息量I。 解 5个符号等概率出现时 　【例】 一信息源由4个符号A、B、C、D组成，它们出现的概率为3/8、1/4、1/4、1/8，且每个符号的出现都是独立的。试求信息源输出为CABACABDACBDAABDCACBABAADCBABAACDBACAACABADBCADCBAABCACBA的信息量。 　解：信源输出的信息序列中，A出现23次，B出现14次，C出现13次，D出现7次，共有57个。则出现A的信息量为 出现B的信息量为 出现C的信息量为 出现D的信息量为 该信息源总的信息量为 I=30.11+28.35+27.72+21.18=107.36 (bit) 每一个符号的平均信息量为 　　上面计算中，我们没有利用每个符号出现的概率来计算，而是用每个符号在57个符号中出现的次数(频度)来计算的。 实际上，用平均信息量公式直接计算可得 总的信息量为 I=57×1.90=108.30 (bit) 可以看出，本例中两种方法的计算结果是有差异的，原因就是前