《信息论基础》课程教学大纲 .pdfVIP

《信息论基础》课程教学大纲

一、《信息论基础》课程说明

（一）课程代码

（二）课程英文名称：informationtheory（三）开学对象：信息管理与信息系统专

业（四）课程性质：

信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是研究信息的

有效处理和可靠传输的一般规律的科学。本课程是信息管理与信息系统本科的专业课。它

应用近代数理统计方法研究信息传输、存贮和处理，并在长期通信工程实践中不断发展。

因而它是一门新兴科学，亦称为通信的数学理论。建立在通信理论的数学知识基础之上的

信息论在数据压缩、调制解调器、广播、电视、卫星通信，计算机存储，因特网通讯，密

码学等方面有着广泛的用途。要使学生领会信息论的基本思想，具备解决实际问题的能力。

从而学习信息论基础，是将信息论渗透到并应用于更广泛的各种科学技术领域的必经之路，

也有助于进一步发展和深化信息概念与信息理论。先修课程为概率论与数理统计（五）教

学目的：

本课程就是信息管理与信息系统本科生的专业课，使用概率论与随机过程等数学方法

研究信息的测度、信道容量以及信源与信道编码等理论问题；主要目的就是使学生介绍

shannon信息论的基本内容，掌控其中的基本公式和基本运算，培育利用信息论的基本原

理分析和化解实际问题的能力，为进一步自学通信和信息以及其他有关领域的高深技术打

下较好的理论基础。（六）教学内容：

掌握熵与互信息的概念，性质与计算；掌握离散信源熵的计算；掌握离散信源编码定

理与huffman编码方法；掌握特殊离散无记忆信道与高斯信道容量的计算；掌握信道编码

定理；理解r（d）函数与有失真的信源编码定理.（七）学时数、学分数及学时数具体分

配学时数：36分数：2

学时数具体内容分配：教学内容第一章绪论第二章信源和信息熵第三章信道与信道容

量第四章率为杂讯函数第五章编码定理合计210481236合计210481236讲授实验/课堂教

学（八）教学方式：使用多媒体教学方式

（九）考核方式和成绩记载说明

考试方式将融合平时作业、平时考核(40%)、期末考试(60%)的各个环节。并使学生能

著重平时自学的过程，发生改变学生从应试型至能力型。考试内容侧重于基本概念、

基本内容及其知识的综合应用。

二、讲授大纲与各章的基本建议第一章绪论

教学要点：通过本章的学习使学生明确信息的内涵与外延及其相关概念

1、掌控信息基本概念。2、介绍信息内容概述。3、通信系统模型。4、信息论发展简

史。教学时数：2学时教学内容：

第一节信息论综述一、信息基本概念

第二节信息论研究对象一、信息内容概述二、通信系统模型；三、信息论发展简史。

考核建议：1、信息论综述

1.1信息基本概念(理解)2、信息论研究对象

1.2.1信息内容概述（领会）1.2.2通信系统模型（鼓腮）

第二章信源和信息熵

教学要点：通过本章的自学主要介绍信源特征，信源分类，线性信源的信息熵；线性

熵；熵函数公理的形成；线性随机变量之间的互信息；信息不增性原理；稳定线性信源；

马尔柯夫信源；已连续随机变量的熵和互信息；随机过程的信息量与熵。1、明晰信源特

征,信源的分类。2、什么就是线性信源的信息熵。3、介绍线性熵。

4、掌握熵函数公理的构成。

5、并使学生晓得线性随机变量之间的互信息。6、明晰已连续随机变量的熵和互信息。

7、随机过程的信息量与熵。8、明晰信息不增性原理。9、介绍稳定线性信源。教学时数：

10学时教学内容：第一节信源一、源特征；二、信源分类。第二节信源熵

一、离散信源的信息熵

二、息熵；

三、熵函数公理的构成；

四、线性随机变量之间的互信息五、信息不增性原理六、稳定线性信源七、马尔柯夫

信源

八、连续随机变量的熵和互信息九、随机过程的信息量与熵。考核要求：1、信源

1.1信源特征(鼓腮)1.2信源分类(鼓腮)2、信源熵

2.1离散信源的信息熵(领会)2.2离散熵(领会)

2.3熵函数公理的形成；(应用领域)

2.4离散随机变量之间的互信息(领会)2.5信息不增性原理(应用)2.6平稳离散信源

(领会)2.7马尔柯夫信源(领会)

2.8已连续随机变量的熵和互信息(应用领域)2.9随机过程的信息量与熵。