信息论总结.docVIP

《信息论与编码》课程总结 解放军信息工程大学信息工程学院 本课程从第一周上到第五周，共二十个学时，重点介绍由香农理论发展而来的信息论的基本理论以及编码的理论和实现原理。 ，本节内容理解和记忆起来有一定的难度；互信息这一节是本章的重中之重，同时也是本课程的一个基本点和要点，需要记忆的东西较多，理解起来有点难度。 第三章 信道及信道容量 1，本章主要内容 信道的描述和分类； 信道容量的定义（重点）； 信道容量的计算（重点和难点）； 有噪信道编码与Shannon第二编码定理（重点）； 信道编码原理； 2，心得体会 根据不同的条件，信道的种类各不相同。如按随机变量的取值类型划分，信道可分为离散信道，连续信道和半离散半连续信道；而根据信道的输入、输出个数划分时，信道又可分为单用户信道和多用户信道。 信息传输率，也就是通信原理里面所说的传信率，是本课程中最重要的一个知识点，它看似简单，其实暗藏玄机，做题时一不小心就会掉进“沟里”去了，在学习通信原理的过程中我对此是颇有体会。 所谓信道容量就是一个信道的最大信息传输速率，它是描述信道传输信息能力的一个参数。对于信道容量的计算，如对称信道的信道容量，准对称信道的信道容量，可逆矩阵信道的信道容量等，是重点，同时也是一个难点。 有噪信道编码与Shannon第二编码定理部分，理论性很强，要想深刻领悟该部分，必须得有很好的数学基本功，对香农定理和Shannon第二编码定理的证明等难度较大。 信道编码原理部分和我们正在学习的《信道编码》相辅相成，对我们以后的学习起到了良好的指引作用。 第四章 离散信源 1，本章主要内容 离散无记忆信源的扩展信源； 离散平稳信源； 马尔科夫信源； 信源的信息冗余。 2，心得体会 将信源输出的随机变量分组，每组作为一个随机矢量，则信源可等效为一个输出随机矢量的信源，称为离散无记忆信源的扩展信源。 联合熵，平均符号熵，条件熵是离散平稳信源里面的几个重要概念，应重点理解和记忆。同时，离散平稳信源的四个性质也应熟练掌握。 马尔可夫信源就是任何时刻信源符号发生的概率只与前面已经发生的m个符号有关，而与更前面发生的符号无关的信源。 在实际中，信源一般先验概率分布不均匀且有记忆，因此引入信源的冗余度来衡量信源的相关性程度，在此基础上形成了数据压缩等相关课程。 第五章 无失真信源编码 1，本章主要内容 信源编码的作用与构成； 等长信源编码定理； 变长码的一些基本概念； 变长信源编码定理； 最佳编码定理与统计编码方法； 霍夫曼编码； 2，心得体会 本章讨论离散信源无失真编码，包括定长、变长无失真编码定理和编码方法，以及实用的无失真信源编码，如夫曼编码等