信息论基础课程总结(放大版本).docVIP

信息科学基础课程总结 （一）学习内容：第一章 随机变量的信息度量 1学习信息论的发展历史，了解信息论的产生、发展与应用；信息的定义与特征； 2信息的度量问题； 3香农熵——随机变量的不确定性度量； 4信息量的一些基本性质； 5熟练进行有关熵的计算：香农熵、联合熵、微分熵等（不要忽视条件熵、互信息、相对熵等概念）； 6 广义熵。 第二章 随机过程的信息度量和渐近等分性 1 什么是信源？信源的分类； 2 什么是随机过程？什么是马尔可夫信源？ 3 随机过程的信息度量问题—熵率； 4 了解冗余度和相对冗余度； 5 了解熵的基本性质，互熵与互信息； 6 理解信源编码定理。 7 了解什么是最大熵，记住常用的几种最大熵分布：有限区间上的最大熵、半开直线与全直线上的最大熵。 第三章 数据压缩和信源编码 1信源编码的基本问题，了解即时码的定义； 2等长码概念及其码率；Kraft不等式； 3变长码编码及平均码长的定义； 4熟练进行哈夫曼码与算术码的编码及构造码树； 5了解通用码概念，会编LZW码和YK码； 6会计算通用码的压缩率（码率）。 第四章 数据可靠传输和信道编码 1 了解离散无记忆信道和信道容量； 2 会用定义、极值法和Lagrange乘子法计算信道容量； 3 了解信道编码的作用和常见类型； 4 理解信道编码定理的内容。 信息科学基础习题课 一、填空题（20分）： 1．利用数字结构进行信息处理是当今社会信息社会的一大特色，因此有人称当今的信息社会又是一个数字化的社会，这就是把现实世界中的各种不同类型的信息与信号都设法用数字来表达，并在数字化的条件下进行处理。 2．信息具有可设计、传递、复制、存储、修改与扩展等特性，对这些特性的处理过程统称为信息处理。信息科学为研究信息处理提供理论基础，其中包括它们的数学模型、基本的度量关系与性质、相关的优化算法等。 3．时间与空间实际上是信息处理中的最基本的资源，在信息处理中除了加快速度与节省空间之外，寻找它们的最优信息处理方案是信息科学理论中的重要内容与基本目标。 4．信息论一般是指在信息的加工、传递、存储等处理问题中的基础理论问题 。 5．1948年香农发表了具有奠基性的论文《通信系统的数学理论》，拉开了信息科学研究的帷幕。信息的度量问题包括：信息能否度量？如何度量？信息度量的内在含义是什么？信息度量的基本特征（其中包括信息度量与其他学科的相互关系等问题）与信息度量的各种应用问题等。 6．一个量的引进，它的出发点必须基本合理，对这个量的度量对象、意义和内容有一个较为明确而又合理的解释；一个量的引进是否有意义，最终还要看它能否解决问题，解决了什么样的问题，以及它在这些问题中的作用与特征；理解一个量的意义，既要从它原始定义的出发点来理解，又要从它最终解决问题的意义上来理解。信息不可能通过一种量而确定所有的信息度量问题。 香农熵 是信息的一种最基本与重要的度量。 7．一个通信系统的数学模型由信源、信道、翻码与译码组成，它们可用概率论模型给以描述，并由信息量确定它们的特征。 8．由消息变信号，再由信号还原成消息的运算称为编码。编码的数学本质是一种映射，其核心问题是码元的设计与选择。 9．信息的传递过程可归结为：首先由信源发出消息（原始消息），由编码将原始消息变为信号，并进入信道成为信道的输入信号（简称输入信号，或入口信号〕，输入信号经信道的 编码 通过信道，经过信道的传送，到达另一端，经过信道译码形成输出信号或出口信号，再经过信源译码运算把输出信号变为消息，这种消息是原始消息的还原；所以又称还原消息，还原消息最终由接收者接收。 10．由于干扰的存在，信道的输出信号可能与输入信号不同；从而形成还原消息与原始消息的不同，这种现象称为通信误差，是通信系统中需要克服的。通信误差的克服一般通过硬件与软件两个途径来解决。软件的改进就是信道编码方式的改进。 11．为实现有效编码，在编码理论中同时从两方面来进行考虑 首先从信源角度考虑，在不丢失信源的原始信息条件下对信源的数据量尽可能精简压缩，这就是信源编码 问题。另一方面则从信道角度考虑，主要目的是克服误差干扰，使数据实现无误差或误差很小的传递，这就是 信道编码 问题。 12．香农信息论的主要目的是讨论编码的可行性问题。讨论在什么样的条件下信源在信道中的可通过，或有效编码的存在性问题。信源编码定理研究的是 只要编码的码率大于信源的熵，则必存在信源编译码方案，使当 被编码的信源分组长度趋于无穷时，译码误差概率可以任意小，信道编码定理研究的是 如果编码速率R小于信道容量，则对任意小的正数，存在码率为 R的信道码， 只要分组长度充分大，就可以使误差概率任意小。 13．信源编码问题分有失真与无失真编码问题。所谓无失真编码问题就是要求