通信原理.pptVIP

则x1、x2、…、xn所包含的信息量分别为 -log2p(x1)、－log2p(x2)、…、-log2p(xn)。 于是，每个符号所含信息量的统计平均值，即平均信息量为 其中称H (x)为信息源的熵，其单位为bit/符号 数字信源的各符号等概出现时有最大的平均信息量。 假设数字信源符号集为{A,B} PA PB IA IB H 1/2 1/2 1 1 1 1/3 2/3 1.585 0.584 0.918 1/4 3/4 2 0.415 0.811 1/8 7/8 3 0.193 0.544 例1：设一离散信号源每毫秒发出A、B、C、D四个符号中的一种，分别以概率0.4、0.3、0.2、0.1出现，假设它们的出现相互独立，试求消息熵和信息速率。 解：利用熵的计算公式，平均信息量为： ＝－（0.4log20.4+0.3log20.3+0.2log20.2+0.1log20.1） ＝1.85 bit/符号 信息速率为 例2：一个由字母A、B、C、D组成的字，对于传输的每一个字母用二进制脉冲编码，00代表A，01代表B，10代表C，11代表D，每个脉冲宽度为5ms。求: （1）不同的字母是等可能出现时，计算传输的平均信息量及平均信息速率； （2）若每个字母出现的可能性分别为PA=1/5,PB=1/4,PC=1/4,PD=3/10，计算传输的平均