第6章-编码技术.pptVIP

现代通信原理 第6章 编码技术 本章学习要求： 了解：单个消息的信息量度量方式 掌握：模拟信源、离散信源发出消息所携带的平均信息量——熵的计算公式和方法 掌握：通信的两个主要技术指标——有效性和可靠性 掌握：香农公式 了解：源编码和信道编码的概念 了解：改善系统两大指标的措施——压缩信源消息中的冗余来提高有效性以及增加冗余码元来提高可靠性 掌握：两种最佳信源编码方法，即霍夫曼编码和香农—范诺编码法 了解：通过汉明码和循环码阐明信道的可靠性编译码思路及过程 6．1 信源编码 6．1．1 信息的度量 1.信源的不肯定度就是信源提供的信息量；信源的不肯定度越高，信宿得到的信息量就越大。 2.设信源发出某消息 的概率为 ，用 表示消息 提供信息量，则定义： = 称 为消息 的自信息量. 6．1．1．2 离散信源的平均信息量——熵 1.信源熵--信源输出一个消息所提供的平均信息量，即信源的不肯定度. 2.对于二元离散信源，若出现0、1的概率分别为 ， ，那么，该信源的熵为： 只有当 时， 取最大值，即 。当 或 时， 取最小