华北电力北京《信息理论基础》教学大纲.docxVIP

信息理论基础 课程编号 课程名称：信息理论基础 英文名称： Fundamentals of Information Theory 总 学 时： 40 总 学 分： 2.5 适用对象 : 全校各专业 先修课程：通信原理、信号与系统 一、课程性质、目的和任务 专业基础课。 本课程采用概率论与随机过程等数学方法研究信息的测度、信道容量以及信源与信道编码等理论 问题；主要目的是让学生了解仙农信息论的基本内容，掌握其中的基本公式和和基本运算，培养利用 信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的高深技 术奠定良好的理论基础。 二、教学要求和内容 ?基本要求? 1．掌握熵与互信息的概念，性质与计算； 2．掌握离散信源、马尔可夫信源熵的计算； 3．掌握离散信源编码定理与 Huffman 编码方法； 4．掌握离散信道传输错误概率的计算与译码准则； 5．掌握特殊离散无记忆信道与高斯信道容量的计算； 6．了解有噪信道编码定理。 ?基本内容? 1．绪论 信息的概念，通信系统模型介绍，仙农信息论的发展介绍。 2．信息的统计度量。此部分为重点 自信息量、条件自信息量、互信息量、条件互信息量、离散集的平均自信息量、离散集的平均互 信息量以及连续随机变量的互信息量和相对熵的概念及其性质与关系。 3．离散信源。此部分为重点。 信源的数学模型、离散无记忆信