《信息论基础》课程教学大纲.pdfVIP

《信息论基础》课程教学大纲 课程代码：ABXX0509 课程中文名称: 信息论基础 课程英文名称： Information Theory Fundation 课程性质：必修 课程学分数：2 课程学时数：32 授课对象：信息与计算科学专业 本课程的前导课程：概率论与数理统计 一、课程简介 信息论基础是信息类专业本科生必修的一门专业基础课。信息论是由 Shannon 奠基的一门数学学科， 它产生于有效而可靠的通信问题中，是研究信息的产生、获取、度量、变换、传输、处理、识别及 其应用的重要基础学科，其影响渗透到许多应用领域。通过本课程的学习，使学生对信息理论有一 个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打 下一个坚实的基础。 二、教学基本内容和要求 第一章：信息论与信息论方法概述 学时：2 学时（讲课 2 学时） 本章主要需要了解信息论的产生、发展、应用及最新研究成果；理解什么是信息，什么是信息科学 和信息论；掌握信号与信息处理的一般理论基础。 本章讲授要点：本章主要介绍了信息论的研究范畴和研究方法。 重点：理解信息论的研究对象、方法和适用的范围。 难点：信号与信息处理的一般理论基础。 第一节 信息 第二节 通信系统模型 第三节信息论的形成与发展 习题：无 第二章：信息论的统计度量 学时：6 学时（讲课 6 学时） 本章主要需要了解熵、自信息量、互信息量这三个基本概念；理解离散和连续情况下的熵、自信息 量、互信息量这三个基本概念的主要性质；掌握离散或连续情况下熵、自信息量、互信息量的计算。 本章讲授要点：本章主要介绍了量度信息量的方法，利用概率论中已经发展起来的一整套描述随机 事件的理论和方法，对离散和连续情况下的熵、互信息量、自信息量这三个基本概念及其主要性质 进行介绍和讨论。 重点：熵、自信息量、互信息量这三个基本概念及其主要性质 难点：离散或连续情况下熵、自信息量、互信息量的计算。 第一节 自信息量和条件自信息量 第二节 互信息量和条件互信息量 第三节 离散集的平均自信息量 第四节 离散集的平均互信息量- 习题：教材上第二章后习题。 第三章：离散信源 学时：4 学时（讲课 4 学时） 本章主要需要了解信源的含义及分类；理解信源的统计特性及各类离散信源的信息测度；掌握离散 信源熵和冗余度的计算。 本章讲授要点：本章主要介绍了离散信源及其信息测度的计算。 重点：信源的统计特性和数学模型，以及各类离散信源的信息测度——熵及其性质。 难点：信源熵和冗余度的计算。 第一节 信源的数学模型及其分类 第二节 离散无记忆信源 第三节 离散无记忆信源的扩展信源 第四节 离散平稳信源 第五节 马尔可夫信源 习题：教材上第三章后习题。 第四章：离散信道及其容量 学时：4 学时（讲课 4 学时） 本章主要需要了解信道的定义及划分；理解离散信道的统计特性和数学模型；掌握信道传输的平均 互信息量及其性质。 本章要点：离散信道的统计特性和数学模型，信道容量的计算。 重点：无记忆、无反馈、固定参数的离散信道及其容量 难点：信道容量的计算 第一节 信道的数学模型及其分类 第二节 离散无记忆信道 第三节 离散无记忆扩展信道 第四节 信道的组合 第五节 信道容量 习题：教材上第四章后习题。 第五章：无失真信源编码 学时：4 学时（讲课 4 学时） 本章主要需要了解各相关基本概念；理解对离散信源进行无失真信源编码的要求、方法及理论极限； 掌握香农第一定理。 本章讲授要点：本章主要介绍了无失真离散信源编码问题。 重点：变长信源编码定理 难点：变长码的编码方法 第一节 编码器 第二节 分组码 第三节 定长码 第四节 变长码 习题：教材上第五章后习题。 第六章：有噪信道编码 学时：4 学时（讲课 4 学时） 本章中主要需要了解相关译码规则；理解有噪信道编码定理；掌握编码方法与错误概率的计算。 本章讲授要点：本章主要讨论了有噪信道编码定理，研究了信道的可靠性问题。 重点：有噪信道编码定理。 难点：错误概率的计算。 第一节 噪声信道的编码问题 第二节 错误概率与编码方法 第三节 有噪信道编码定理 第四节 错误概率的上界