华北电力北京《信息理论基础》教学大纲.pdfVIP

信息理论基础 课程编号 课程名称：信息理论基础 英文名称： Fundamentals of Information Theory 总 学 时： 40 总 学 分： 2.5 适用对象 : 全校各专业 先修课程：通信原理、信号与系统 一、课程性质、目的和任务 专业基础课。 本课程采用概率论与随机过程等数学方法研究信息的测度、信道容量以及信源与信道编码等理论 问题；主要目的是让学生了解仙农信息论的基本内容，掌握其中的基本公式和和基本运算，培养利用 信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的高深技 术奠定良好的理论基础。 二、教学要求和内容 ?基本要求? 1．掌握熵与互信息的概念，性质与计算； 2．掌握离散信源、马尔可夫信源熵的计算； 3．掌握离散信源编码定理与 Huffman 编码方法； 4 ．掌握离散信道传输错误概率的计算与译码准则； 5．掌握特殊离散无记忆信道与高斯信道容量的计算； 6．了解有噪信道编码定理。 ?基本内容? 1．绪论 信息的概念，通信系统模型介绍，仙农信息论的发展介绍。 2．信息的统计度量。此部分为重点 自信息量、条件自信息量、互信息量、条件互信息量、离散集的平均自信息量、离散集的平均互 信息量以及连续随机变量的互信息量和相对熵的概念及其性质与关系。 3．离散信源。此部分为重点。 信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源。 4 ．离散信道及其容量。此部分为重点和难点。 信道的数学模型、离散无记忆信道、离散无记忆扩展信道、信道的组合、信道容量。 5．无失真信源编码。此部分为重点。 编码的概念、分组码、定长码、变长码。 6．有噪信道编码 噪声信道的编码问题、错误概率与编码方法、有噪信道编码定理。 7．限失真信源编码。此部分为重点和难点 失真度测量、信息率失真函数、限失真信源编码定理和逆定理、信息率失真函数的计算。 三、教学安排及方式 以课堂讲授为主，辅助于课堂讨论，讲授与讨论基本达到： 8:2 。 四、各教学环节学时分配（建议） 序 教学环节 教 实 上 讨 课 合 号 课程内容 学 验 机 论 外 计 1 绪论 1 0 0 0 1 2 2 信息的统计度量 1 0 0 0 1 2 3 离散信源 10 0 0 0 8 20 4 离散信道及其容量 8 0 0 0 8 16 5 无失真信源编码 8 0 0 0 6 16 6 有噪信道编码 8 0 0 0 8 16 7 限失真信源编码 4 0 0 0 4 8 合计 40 0 0 0 40 80 五、推荐教材和教学参考书 教 材：《信息论基础教程》，李亦农编著，北京邮电大学出版社，