《信息论基础》教学大纲.pdfVIP

信息论基础 一、说明 课程性质：该课程是信息与计算科学专业专业平台任选课程之一，第 8 学期 开设，周 5 学时。 信息科学是一门涉及面极广的边缘学科，其任务是研究信息的性质、获取、 传输、检测、存储、处理、控制的基本原理和方法，它的理论基础是从概率论和 通信科学发展起来的。它的应用性很强，从它的产生背景、发展与应用内容来看， 都可以看到它与电子、通信、计算机技术的发展密切相关，并得到一系列的重要 应用，尤其是与近代网络通信、数据加密与安全、多媒体技术密不可分，在本课 程中，应回顾它的产生过程、发展历史、理论与应用，并力求有突出它的基础理 论性与应用的结合。 信息论又是一门十分严谨的理论学科，从它的概念定义到问题模型，再到定 理与它的证明都是用严格的数学语言与逻辑推导完成，因此又可把它看成是一门 数学学科分支。有如此严格的数学理论又有如此巨大的应用背景与成就是本学科 的一个重要特点。 教学目的：通过本课程的学习是学生掌握信息论的基本概念、方法和相关的 理论及其应用。 教学内容：本课程的主要内容有信息的度量问题、通信系统与编码问题、信 源与信道编码问题等。具体介绍信息与编码的基本模型和概念，以及一些典型的 应用问题，介绍信息的度量与性质，信源与信道的编码问题和编码定理。 教学时数：50 学时。 教学方式：课堂讲授。 二、大纲正文 第一章 概 论 教学要点：本章介绍信息论的基本情况，包括信息论与编码理论的产生、发 展、理论的形成过程、重要的应用领域与问题，介绍信息度量的基本要求与通信 系统的基本模型，通过这些介绍和学习使同学们对信息论的基本理论有一个总体 的了解。 教学时数：5 学时。 教学内容： §1.1 信息论的发展概况（1 学时） §1.2 信息论的主要技术及应用（1学时）， §1.3 信息的度量问题（1 学时） §1.4 通信系统及其模型（2 学时）。 考核要求：通过考核使同学们了解消息与信息、输入与输出信号的区别；掌 握通信系统模型、信源模型、信道模型、了解信息论的发展和应用。 第二章 信息量 教学要点：信息的度量概念及度量方式、香农熵的概念及性质。 教学时数：15 学时。 教学内容： §2.1 熵（2 学时） §2.2 联合熵与条件熵（2 学时） §2.3 熵的基本性质（2学时） §2.4 互熵与互信息（2学时） §2.5 凸函数及其应用（2 学时） §2.6 连续型随机变量的信息量（3学时） §2.7 最大熵原理（2 学时） 考核要求：通过考核使同学们掌握熵、联合熵、条件熵、互熵与互信息的概 念和基本性质，掌握凸函数的性质及其在信息论的应用，了解最大熵问题和结论。 第三章 信源编码 教学要点：本章主要讲授信源编码问题，主要的概念有前缀码、即时码、定 长码、变长码等。 教学时数：14 学时。 教学内容： §3.1 信源编码问题（2学时） §3.2 前缀码与即时码（2 学时） §3.3 信源变长码的编码定理（2学时） §3.4 霍夫曼（Huffman）信源编码算法（3学时） §3.5 霍夫曼（Huffman）信源编码性能分析（3学时） §3.6 信源定长码的编码定理（2学时） 考核要求：掌握主要的概念包括前缀码、即时码、定长码、变长码等及其性 质，掌握 Kraft不等式及其应用，掌握信源变长码的编码问题，了解信源序列的 定长编码问题，掌握霍夫曼（Huffman）信源编码算法，并了解它的性能分析，掌 握惟一可译编码的构造方法。 第四章 信道编码定理 教学要点：讲授信道编码问题，通信系统的编码误差，典型的无记忆通信信 道，无记忆通信信道的容量及信道容量的计算及信道的编码与译码问题。 教学时数：16 学时。 教学内容：