《信息论专题》-课程教学大纲.docVIP

PAGE PAGE 12 《信息论专题》课程教学大纲 一、课程基本信息 课程代码课程名称：信息论专题 英文名称：Information Theory Seminar 课程类别：公共课 学 时：32 学　　分：2 适用对象: 各学科门类各专业本科生 考核方式：考察 先修课程：微积分，概率论与数理统计 二、课程简介 课程主要讲授对信息现象的科学理解。基于自然界、技术和社会里信息过程的透彻分析，综合已有各学科研究方向，阐释信息论的发展如何为信息技术、信息科学、计算机科学、大数据、人工智能、心理学、语言学、社会科学和教育学等学科拓展创新空间。 三、课程性质与教学目的 通过介绍信息如何联系知识和数据，如何用数学结构对信息建模，以及这些模型如何用于更好地理解计算机和互联网、认知和教育、通信和计算，为信息研究已有方向提供一个统一的背景，解释信息、数据和知识之间的联系；介绍不同的数学模型与信息过程的关系。 四、教学内容及要求 第一章 绪论 目的与要求 了解信息论的发展背景和重要性。 掌握信息论的基本概念和特点，掌握信息论的特点，掌握信息论的组成体系，掌握信息论的目标和主要科学研究方法。 了解信息论的诞生及发展历史、现状和趋势。 教学内容 第一节 信息的概念 主要内容：①信息的基本概念；②信息传输系统模型和性能指标；③信息论的研究范畴。 基本概念和知识点：信息、消息、信号、概率信息。 问题与应用（能力要求）：掌握信息的产生与发展历史，掌握信息论的组成体系。 第二节 信息论研究的对象、目的和内容 主要内容：①信息论研究的对象；②信息论的研究目的；③与实际通信系统相联系，理解信息论的研究内容。 基本概念和知识点：信息传输系统模型、信息度量基本概念的建立。 问题与应用（能力要求）：掌握信息论的组成体系。 第三节 信息传输系统模型基本概念 主要内容：①信息传输系统模型的概念；②信息传输系统模型的基本结构；③与实际通信系统相联系，理解信息传输系统模型；④介绍我国信息化发展历程以及当前面临的国际竞争环境；⑤党和政府为建设小康社会，实现人民美好生活需求，在信息化建设上做出的巨大努力。 基本概念和知识点：信息传输系统模型基本概念的建立、基本结构的了解。 问题与应用（能力要求）：掌握通信系统的模型的产生和演化过程。 思考与实践 信息理论包含哪些基本问题？ 阐述信息理论的产生背景和发展历史。 通信系统包含哪些基本模型？ 教学方法与手段 本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习、讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过案例分析、习题讲解等加强学生的记忆和理解。 第二章 信息的度量 目的与要求 理解信息熵和平均互信息的物理意义； 了解信息不增性原理； 掌握最大熵定理； 通过给定信源的模型，能够计算其信息熵。 教学内容 第一节 信源模型 主要内容：①实际信源、信源模型的建立；②信源的分类方法。 基本概念和知识点：信源、信源模型、信源模型分类。 问题与应用（能力要求）：掌握信源的数学模型；了解不同信源分类方法及各类信源。 第二节 信息的描述 主要内容：①离散无记忆信源；②非理想观察模型。 基本概念和知识点：离散无记忆信源、非理想观察模型、不确定性。 问题与应用（能力要求）：掌握离散无记忆信源的数学模型，熟悉非理想观察模型中各类不确定及信息的概念。 第三节 不确定性与信息 主要内容：①自信息量；②联合自信息量与条件自信息量；③自信息量的性质；④互信息量及其性质。 基本概念和知识点：联合自信息量、条件自信息量、互信息量。 问题与应用（能力要求）：掌握自信息量的计算方法；了解自信息量单位的物理意义；了解在非理想观察模型中各种自信息量的物理含义；了解可加性的物理解释；了解互信息量与各类自信息量间的关系和物理意义。 第四节 离散随机变量的（统计）平均不确定性——离散熵 主要内容：①离散熵；②离散熵的性质；③联合熵和条件熵。 基本概念和知识点：离散熵、离散熵的物理意义、联合熵、条件熵。 问题与应用（能力要求）：掌握各种实际信源离散熵的计算；理解离散熵的物理含义；了解熵的各个性质的推导过程；利用熵的性质解释实际信源的各种特点；了解熵的各个性质的推导过程；熟悉信息论不等式、香农不等式，并能利用其进行各种不等式证明；掌握联合熵、条件熵的计算；理解各种熵的物理意义。 第五节 平均互信息量及其性质 主要内容：①平均互信息量的概念；②平均互信息量的性质。 基本概念和知识点：平均互信息量、平均互信息量的物理意义、平均互信息量与各类熵之间的关系。 问题与应用（能力要求）：理解平均互信息量的各条性质的推导；灵活运用平均互信息量与熵之间的关系，计算分析各种实际应用题目的平均互信息量。 第六节 离散