下载-中国海洋大学信息科学与工程学院.doc

中国海洋大学信息论基础Information Theory） 【开课单位】信息学院电子系 【课程模块】学科基础 【课程编号】 【课程类别】必修 【学时数 】 64 （理论） 【学分数 】 4 一、课程描述 （一）教学对象：通信工程 （二）教学目标及修读要求 1、教学目标 信息论是一门研究信息的存储、传输和处理一般规律的科学。本课程系统地讲授香农(C.E. Shannon)信息论的基本内容及应用。通过本课程的学习，要求学生牢固掌握信息论的基本概念、数学原理并会灵活运用；牢固掌握各类离散信源的信息测度；牢固掌握离散信道的信息传输率及信道容量；牢固掌握离散信源无失真编码定理，离散有噪信道编码定理；牢固掌握离散信源的信息率失真理论。掌握连续信源和波形信源的概念及信息测度；掌握连续信道和波形信道的信息传输率及信道容量；了解连续信源的信息率失真理论。对怎样利用信息论工具研究信息科学问题，进行信息技术开发有一定认识。 3、先修课程 概率统计 二、教学内容 （一）第1章 绪论 1、主要内容：信息的概念信息论研究的对象、目的和内容信息论发展简史与现状通过本章学习，要求牢固掌握信息的概念，信息、消息、信号之间的异同；牢固掌握概率信息的概念；牢固掌握信息论的研究对象和目的；一般掌握信息论的研究内容；了解信息论的发展过程。本章重点是信息的概念；信息论学科的研究对象、目的和内容；信息论学科发展的历史、现状和动向。信息概念的离散信源及其信息测度信源的数学模型及分类 离散信源的信息熵 信息熵的基本性质 离散信源的唯一性定理 离散无记忆的扩展信源 离散平稳信源 马尔可夫信源通过本章学习，要求牢固掌握用概率空间描述信源的方法；牢固掌握离散无记忆信源的定义、自信息、信息熵及信息熵的基本性质；一般掌握熵的唯一性定理；牢固掌握离散无记忆的扩展信源的概念及其信息熵；牢固掌握离散平稳信源的概念，二维平稳信源的联合熵、条件熵，离散平稳信源的极限熵；牢固掌握马尔可夫信源的概念及其信息熵。信源的数学模型；各类离散信源的信息熵。离散信道及其信道容量信道的数学模型及分类 平均互信息及平均条件互信息 平均互信息的特性 信道容量及其一般计算方法 离散无记忆扩展信道及其信道容量 数据处理定理 信源与信道的匹配通过本章学习，要求学生牢固掌握离散信道的数学模型；牢固掌握信道疑义度、平均互信息和条件平均互信息的概念；牢固掌握平均互信息的性质；牢固掌握几种离散信道容量的计算；牢固掌握离散无记忆扩展信道的概念及信道容量的计算；牢固掌握数据处理定理；牢固掌握信道剩余度的概念。离散信道的数学模型；信道容量；数据处理定理。波形信源和波形信道波形信源的统计特性和离散化 连续信源和波形信源的信息测度 具有最大熵的连续信源 熵功率 连续信道和波形信道的分类 连续信道和波形信道的信息传输率 连续信道和波形信道的信道容量 通过本章学习，要求一般掌握波形信源的统计特性；一般掌握连续信源和波形信源的相对熵的概念；一般掌握均匀分布连续信源和高斯信源的熵的；一般掌握峰值功率受限和平均功率受限条件下信源的最大熵；一般掌握熵功率；一般掌握连续信道和波形信道的分类；一般掌握单符号连续信道的平均互信息的概念；一般掌握多维连续信道平均互信息的概念；一般掌握波形信道的信息传输率；一般掌握连续信道平均互信息的性质；一般掌握单符号高斯加性信道、单符号非高斯加性信道的信道容量；了解多维无记忆高斯加性连续信道、多维有记忆高斯加性连续信道的信道容量；一般掌握高斯白噪声加性波形信道的信道容量；了解有色高斯加性波形信道的信道容量。波形信源的统计特性；波形信源的信息测度；波形信道的信道容量。无失真信源编码编码器 等长码 等长信源编码定理 变长码 变长信源编码定理通过本章学习，要求学生牢固掌握编码的概念；牢固掌握等长码和等长信源编码定理；牢固掌握编码效率的概念；牢固掌握唯一可译变长码和即时码的概念、即时码的构造、克拉夫特不等式、唯一可译变长码的判断；牢固掌握无失真变长信源编码定理；牢固掌握平均码长、紧致码和码的剩余度的概念；牢固掌握夫曼码的编码方法等长码；等长信源编码定理；变长码；变长码的编码方法；变长信源编码定理夫曼码编码。有噪信道编码错误概率和译码规则 错误概率与编码方法 有噪信道编码定理 联合信源信道编码定理通过本章学习，要求学生牢固掌握错误概率的概念；牢固掌握错误概率准则、最大似然译码准则，以及如何根据这些准则进行译码；一般费诺不等式；牢固掌握错误概率和编码方法的关系；牢固掌握有噪信道编码定理；牢固掌握联合信源信道编码定理。有噪信道编码定理。保真度准则下的信源编码失真