[2018年最新整理]信息论总复习.pptVIP

试题类型 一、填空题（每空2分，共30分） 概念和定义、小型计算 二、判断题（每题1分，共十分） 基本定理、基本概念 三、简答题（每题6分，共18分） 基本定理、基本概念 四、计算题（4个题，共42分 ） 基本概念的应用，难度与课件例题、课后作业题相当 1948年，香农在《通信的数学理论》的论文中，用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。香农理论的核心是：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。 第二专题 第三专题 一.信道的分类 第四专题 第五专题 2.平均错误概率（ ***** ） 3.信道编码的编、译基本原则（**） 感谢同学们的支持！ 祝同学们期末考试取得好成绩！ 实验楼B304 wangshuhua7941@163.com Qq 8231234 （五）无失真等长信源编码定理 （六）无失真变长信源编码定理 香农第一定理（**************） 当 则得： (2) ：若 就存在唯一可译变长码，若 则不存在唯一可译变长码。 (3) 无噪信道编码定理(R不大于信道容量C, R大于C) 信源编码的实质（****） (4) （七）无失真信源编码定理和数据压缩 1.无失真数据压缩的极限值 无失真信源编码定理（无论等长还是变长）在理论上 指出离散信源的信息熵是信源无失真数据压缩的极限 值。 2.编码后信源信息率、码率和编码效率 （1）编码后信源信息率 （2）码率 （3）编码效率 （4）码的剩余度 （八）最佳二元码(了解） 平均码长为最短的即时码称为最佳码（又称紧致码） （九）霍夫曼码和其他编码方法******** 1.香农码 （1）香农码（只是确定了码长，可用树图法构造出 即时码，但是这种方法编的码不是最佳码） （2）香农——费诺——埃利斯码（有系统的唯一的 编码方法，但是一般情况下，编码效率不是很高） 2.费诺码(***** ）（适用于对分组概率相等或接近的信 源编码**********） 3.霍夫曼码（ ********** ）（哈夫曼码对信源的统计特性没 有特殊要求，编码效率比较高，对编码设备的要求也 比较简单 需要注意的是：1.在缩减信源的过程中，应把所得的 新符号尽可能排列在靠前位置上，所得码的方差最 小；2.信源符号的个数q必须满足q=(r-1)k+r。不满 足时，设一些概率为零的虚假符号，使其满足。） 作业5.2，霍夫曼编码 1.译码准则(*****作业6.1) 在有噪信道中传输消息是会发生错误的，而接收端引起错误 的大小与选择译码准则有关，也与信道编码所选码字有关。 (1) 最小错误概率译码准则 (2)最大似然译码准则 (3)最小距离译码准则（*********） 汉明距离 最小距离译码准则 D (?*, ?j ) ? D(?i , ?j ) ， ?i ?C， ?i ? ?* 即：D (?*, ?j ) ＝min D(?i ,?j ) ， ?i ?C， ?i ? ?* 平均错误概率 二元对称信道 单符号信道 （1）编码原则 （2）译码原则 4.有噪信道编码定理及其逆定理（**********） 有噪信道的信道容量C，若信息传输率RC，只要码长n足 够长，必存在一种信道编码和相应的译码规则，使译码平均 错误概率PE为任意小。反之，若RC 则不存在以R传输信息 而PE为任意小的码。 5.信源信道编码定理(***) 某离散信源的极限熵H∞，离散信道容量C，若H∞C,则存在 信源和信道编码，其平均错误概率趋近于0。反之， H∞C， 不存在信源和信道编码，使无失真的传输信源信息。 * * 计算问答 第一专题 本章是信息论的基本概念，介绍的主要内容有： 从通信的角度讲，信息论是应用近代概率统计方法研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。 信息的特点：无确切定义，人人皆知的抽象概念 信息的特征：抽象性和广泛性 信息与消息、信号的关系 香农信息论给出的信息的定义： 1.信息的概念 ***** 信息是事物运动状态或存在方式的不确定性的描述******。 2.什么是信息论 （1）信息论的发展简史 （2）信息论研究的对象 干扰源 信道 信道译码器 信道编码器 信源译码器 信源编码器 信宿 信源 等效信源 等效信宿 等效干扰信道 图1-1 信息传输系统模型 ***** ********* 这个模型包括以下五个部分： 3. 信道 信道是信息传输和存储的媒介。 4. 译码器 译码是