信息论与编码教学大纲v2-王启军.docVIP

《信息论与编码》 教学大纲 安徽大学 计算机科学与技术 学院 2017 年 4 月 课程性质与设置目的要求（前言） 《信息论与编码》课程是信息安全专业的专业基础课，是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。 信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。 学习本课程的要求是：学习者应了解通信系统各部分的主要组成以及作用、香农的三大编码定理；掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。 先修课程要求：《数学分析》《概率论》 本课程计划34学时，2学分。 选用教材：《信息论与编码》第3版 陈运等著 电子工业出版社 考核方法：考试+平时成绩 教学进程安排表： 周 次 学 时 数 教 学 主 要 内 容 教学 环节 备 注 1 2 第一章?概述 讲授 2 2 信源与信息熵 2.1基本概念：信源的描述与分类 讲授 3 2 信源与信息熵 2.2离散信源熵的基本概念和性质 讲授 4 2 第二章?信源与信息熵 2.3多符号离散平稳信源熵（序列熵） 讲授 5 2 第三章?无失真离散信源编码3.1~3.2小节 讲授 6 2 第三章?无失真离散信源编码3.3~3.5小节 讲授 7 2 第8章?限失真信源编码 讲授 8 2 第四章?离散信道容量 讲授 9 2 第四章??离散信道容量 多符号离散信道的信道容量 讲授 10 2 第五章?纠错编码 讲授 11 2 第五章?纠错编码纠错编译码的基本原理与分析方法（补充） 讲授 12 2 第五章?纠错编码第5.2节线性分组码 讲授 13 2 第五章?纠错编码第5.4小节卷积码 讲授 14 2 第五章?纠错编码第5.3小节循环码 讲授 15 2 第九章?密码安全性的信息论测度方法 讲授 16 2 第九章?密码安全性的信息论测度方法 IDEA、PKC等加密编码方法（补充） 讲授 17 2 复习 讲授 第一章：绪论 一、学习目的 要求学生明确本课程的学习目的及要求，初步了解本课程的特点及学习方法，掌握信息的基本概念和特点，了解信息论研究的对象、目的和内容，了解信息论的形成和发展趋势，以及目前信息论与编码的主要研究成果，激发学习信息论与编码的兴趣与热情。本章计划2学时。 二、课程内容 第一节 信息的概念 知识要点：信息的概念及自信息的定义，通信系统模型 第二节 信息论研究的对象、目的和内容 知识要点：信息论研究的对象、目的和内容 第三节：信息论发展简史 知识要点：信息论发展简史 三、重点、难点提示 重点：本课程的特点及学习方法、信息的基本概念与特点，信息论的主要研究对象、目的和内容 难点：如何理解信息的概念、信息论及编码技术 四、思考与练习 1、?信息、信号、消息的定义是什么？三者的关系如何？ 第二章：离散信源及其测度 一、学习目的 通过本章的学习，了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系；掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。本章计划8学时。 二、课程内容 第一节 信源的数学模型及分类 知识要点：信源的数学模型，离散无记忆信源及其扩展信源。 第二节 信息熵及其基本性质 知识要点：自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。 第三节 离散平稳信源 知识要点：离散平稳信源定义，联合熵，条件熵以及极限熵。 第四节 马尔可夫信源 知识要点：马尔可夫信源定义，马尔可夫信源熵 第四节 信息剩余度 知识要点：信息剩余度以及自然语言熵 三、重点、难点提示 重点：自信息量、离散信源熵的概念及其求解方法、熵的性质。离散无记忆信源的序列熵与离散有记忆信源的序列熵的概念、特点与求解方法 难点：离散信源熵概念及其求解方法、熵的性质。 四、思考与练习 习题2.1、2.2、 2.3 第三章：无失真离散信源编码 一、学习目的 通过本章学习了解其它一些无失真信源编码方法。理解渐近等分割性及典型序列，算术编码方法及具体实现方案；掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。本章为4学时。 二、课程内容 第一节 等长码及等长