信息论 锟杰革拷习w.ppt

1948年，香农在《通信的数学理论》的论文中，用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。香农理论的核心是：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。 第二专题 第三专题 一.信道的分类 第四专题 （十）信息率失真函数 第五专题 2.平均错误概率（ ***** ） 3.信道编码的编、译基本原则（**） 试题类型 一、填空题（每空2分，共30分） 概念和定义、小型计算 二、判断题（每题1分，共十分） 基本定理、基本概念 三、简答题（每题5分，共20分） 基本定理、基本概念 四、计算题（4个题，共40分 ） 基本概念的应用，难度与课件例题、课后作业题相当 （八）最佳二元码(了解） 平均码长为最短的即时码称为最佳码（又称紧致码） （九）霍夫曼码和其他编码方法******** 1.香农码 （1）香农码（只是确定了码长，可用树图法构造出 即时码，但是这种方法编的码不是最佳码，有系统 的唯一的编码方法，但是一般情况下，编码效率不 是很高） 2.费诺码(***** ）（适用于对分组概率相等或接近的信 源编码**********） 3.霍夫曼码（ ********** ）（哈夫曼码对信源的统计特性没 有特殊要求，编码效率比较高，对编码设备的要求也 比较简单 需要注意的是：1.在缩减信源的过程中，应把所得的 新符号尽可能排列在靠前位置上，所得码的方差最 小；2.信源符号的个数q必须满足q=(r-1)k+r。不满 足时，设一些概率为零的虚假符号，使其满足。） 1.失真度和平均失真度 2.保真度准则 3.信息率失真函数（定义及物理含义************） 物理含义：在保真度准则下，信源必须传输的最小平均信息量 率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系，其逆函数称为失 真率函数，表示一定信息速率下所可能达到的最小的平均失真。 定理7.1 保真度准则下的信源编码定理 设R(D)为一离散无记忆信源的信息率失真函数，并且有有限的失真测度。对于任意的 ，以及任意足够长的码长n，则一定存在一种信源编码C，其码字个数为 而编码后的平均失真度 如果用二元编码，则： 4.保真度准则下的信源编码定理（香农第三定理 **************） 课后习题：5.2，5.5,7.3,8.4 1.译码准则(*****作业6.1，例题6.2) 在有噪信道中传输消息是会发生错误的，而接收端引起错误 的大小与选择译码准则有关，也与信道编码所选码字有关。 (1) 最小错误概率译码准则 (2)最大似然译码准则 (3)最小距离译码准则（*********） 汉明距离 最小距离译码准则 D (?*, ?j ) ? D(?i , ?j ) ， ?i ?C， ?i ? ?* 即：D (?*, ?j ) ＝min D(?i ,?j ) ， ?i ?C， ?i ? ?* 平均错误概率 二元对称信道 单符号信道 （1）编码原则 （2）译码原则 4.有噪信道编码定理及其逆定理（****** ******记住） 有噪信道的信道容量C，若信息传输率RC，只要码长n足 够长，必存在一种信道编码和相应的译码规则，使译码平均 错误概率PE为任意小。反之，若RC 则不存在以R传输信息 而PE为任意小的码。 5.信源信道编码定理() 某离散信源的极限熵H∞，离散信道容量C，若H∞C,则存在 信源和信道编码，其平均错误概率趋近于0。反之， H∞C， 不存在信源和信道编码，使无失真的传输信源信息。 * * 第一专题 本章是信息论的基本概念，介绍的主要内容有： 从通信的角度讲，信息论是应用近代概率统计方法研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。 信息的特点：无确切定义，人人皆知的抽象概念 信息的特征：抽象性和广泛性 信息与消息、信号的关系 香农信息论给出的信息的定义： 1.信息的概念 ***** 信息是事物运动状态或存在方式的不确定性的描述*****。 2.什么是信息论 （1）信息论的发展简史 （2）信息论研究的对象 干扰源 信道 信道译码器 信道编码器 信源译码器 信源编码器 信宿 信源 等效信源 等效信宿 等效干扰信道 图1-1 信息传输系统模型 ***** *********记住 这个模型包括以下五个部分： 3. 信道 信道是信息传输和存储的媒介。 4. 译码器 译码是编码的逆变换，分为信道译码和信源译码。 5. 信宿 信宿是消息的接收者。 2. 编码器 编码器是将消息变成适合于信道传送的信号的设备。 1.信源 信源是