青海师范大学数学系信息论课件第五章 无失真信源.pptVIP

第5章无失真信源编码 5.1编码器 5.2等长码 5.3渐进等分割性和典型序列 5.4等长信源编码定理 5.5变长码 5.6变长信源编码定理 第5章无失真信源编码 通信的实质是信息的传输。而高效率、高质量地传送信息却又是信息传输的根本问题。将信源信息通过信道传送给信宿，怎样才能既做到尽可能不失真而又快速？这就需要解决而个问题。第一，在不失真或允许一定失真条件下，如何用尽可能少的符号来传送信源信息，以便提高信息传输率。第二，在信道受干扰的情况下，如何增加信号的抗干扰能力，提高信息传输的可靠性，同时又使得信息传输率最大，为了解决这两个问题我们引入了信源编码和信道编码。 第5章无失真信源编码 一般来说，提高抗干扰能力（降低失真或者错误概率），往往是增加冗余度以降低信息传播率为代价的；反之，要提高信息传输率，往往通过压缩信源冗余度来实现而常常又会使抗干扰能力减弱。二者是有矛盾的。然而在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或者信息处理方法，能够解决上述矛盾，做到既可靠又有效地传输信息。 本章将将着重讨论对离散信源进行无失真信源编码的要求、方法及理论极限，并得出一个极为重要的极限定理——香农第一定理。 5.1编码器 编码实质上是对信源的原始的符号按一定的数学规则进