《信息论与编码》课程小结.pdfVIP

《信息论与编码》课程小结 《信息论与编码》课程小结 信息论是应用概率论、随机过程和数理统计和近代代数等方法，来 研究信息的存储、传输和处理中一般规律的学科。它的主要 目的是提高 通信系统的可靠性、有效性和安全性，以便达到系统的最优化。 关于信息论的基本理论体系，1948年，香农在贝尔系统技术杂志 上发表 “通信的数学理论”。在文中，他用概率测度和数理统计的方法 系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结 论，并由此奠定了现代信息论的基础。香农理论的核心是：揭示了在通 信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得 出了信源编码定理和信道编码定理。然而，它们给出了编码的性能极 限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信 系统提供了重要的理论依据。 对信息论的研究内容一般有以下三种理解： (1) 狭义信息论，也称经典信息论。它主要研究信息的测度、信道 容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理 论，又称香农基本理论。 (2) 一般信息论，主要是研究信息传输和处理问题。除了香农理论 以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制 理论、信息处理理论以及保密理论等。后一部分内容以美国科学家维纳 为代表，其中最有贡献的是维纳和苏联科学家柯尔莫哥洛夫。 (3) 广义信息论。广义信息论不仅包括上述两方面的内容，而且包 括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理 学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息 的问题，是新兴的信息科学理论。 信息论已经成为现代信息科学的一个重要组成部分，它是现代通信 和信息技术的理论基础。现代信息论又是数学概率论下的一个分支，与 遍历性理论、大偏差理论以及统计力学等都有密切关系。 关于信息论与编码课程的特点，信息论课程中运用了大量的数学知识。 例如：在讨论纠错编码中生成矩阵和一致校验矩阵的关系时，需要用到 矩阵的运算和性质；在讨论连续信源熵时，需要对连续信源概率密度进 行积分运算；在讨论离散信源熵的最大值或信道容量的最大值时，要计 算多元函数的条件极值。此外，信息论与编码中很多定理都伴随着复杂 的数学证明，其中最明显的就是香农三定理 （无失真信源编码定理、有 噪信道编码定理和保真度准则下的信源编码定理）的证明。 信息论课程的外延很广，课程内容与很多其他专业课有着紧密的联 系。这些内容或者在其他专业课中进行不同角度的探讨，或者在其他专 业课程中得到应用。信息论课程的纵向内容很深，通常把信息论的目标 和重点锁定在狭义信息论上，也就是三大块内容：信息的统计测度、信 道容量和信息率失真函数，以及香农的三个重要定理——无失真离散信 源编码定理、有噪信道编码定理和保真度准则下的信源编码定理。最典 型的例子就是Huffman编码，信息论课程中作为一种变长信源编码方 法，这里主要讨论该编码方法为什么是最优的 （也就是更接近于香农第 一定理的极限）；这个内容还出现在数据结构课程中，该课程主要从算 法的角度讨论最优二叉树的生成和遍历问题； 此外，它还出现在离散数学课程中，该课程主要是用树的数学形式 对二元关系这种离散问题进行研究和讨论；在计算机体系结构课程中计 算机指令操作码的优化表示也用到了Huffman编码。另一个非常典型的 例子是计算机网络课程里的ATM技术，ATM信元首部有8位的首部差错控 制字段 (HEC)，它是根据首部其余的32位计算出来的，用来编码的多项 式为，这个码多项式问题在信息论的循环码 （纠错码的一种）中有详细 论述。此外，在多媒体技术课程中对图片、声音、视频等信息的压缩处 理，也应用了大量的信息论内容。 一般在讨论编码定理的同时会简要地介绍几种编码方法，比如无失 真离散信源编码方法有Shannon码、Fano码和Huffman码，纠