通信原理信息论初步概述.pptVIP

第2版;第二章;2.1 信息论的两条发展途径 ;研究对象;2.2 信息论研究的主要内容 ;◆ 信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则。 ;2.3 信息的对数量度 ;2.3.1 互信息量;情况;随机事件的不确定性（或不肯定性） ;互信息量的三个特征 ;;◆ 条件熵：二维联合空间XY上的条件自信息量的概率加权平均值。 ;◆ 共熵：(又称联合熵)是联合空间XY上的每个元素对xy的自信息量的概率加权平均值。 ;;2.3.4 平均互信息量;And;2.4 离散信源与连续信源 ;2.4.1 离散信源 ;例2.1;◆ 信源的条件平均信息量为： ;◆ 当离散信源中各符号等概率出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。 ;2.4.2 连续信源 ;2.4.3 信源编码 ;◆ 正规编码器：能把信源发出的所有消息一一对应地变换成相应代码组的信源编码器，不会损失能量。 ;设;◆ 编码效率：信息传输速???R与信道容量C的比值。 ;2.5 信道容量与香农公式 ;2.5.1 无扰离散信道的信道容量 ;2.5.2 有扰离散信道的信道容量 ;◆ 具有L种消息的有扰离散的对称信道，其信道容量为： ;在给定信道输入消息概率分布 的条件下能使误码率最小的方案称为最佳译码方案，能够实现最佳译码方案的检测器就称为理想观察者。 通常使用的最佳译码