《信息论与编码》课程论文.docVIP

《信息论与编码》课程小结 《信息论与编码》课程小结 信息论是信息科学的主要理论基础之一，它是在长期通信工程实践和理论基础上发展起来的。信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输和处理中一般规律的学科。它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。编码理论与信息论紧密关联，它以信息论基本原理为理论依据，研究编码和译码的理论知识和实现方法。 通过《信息论与编码》课程的学习，得到了以下总结： 一、信息论的基本理论体系 1948年，香农在贝尔系统技术杂志上发表“通信的数学理论”。在文中，他用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。香农理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体方法。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信系统提供了重要的理论依据。 对信息论的研究内容一般有以下三种理解： (1) 狭义信息论，也称经典信息论。它主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称香农基本理论。 (2) 一般信息论，主要是研究信息传输和处理问题。除了香农理论以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。后一部分内容以美国科学家维纳(N.Wiener)为代表，其中最有贡献的是维纳和苏联科学家柯尔莫哥洛夫。 (3) 广义信息论。广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题，是新兴的信息科学理论。 二、信息论与编码课程的特点 信息论已经成为现代信息科学的一个重要组成部分，它是现代通信和信息技术的理论基础。现代信息论又是数学概率论下的一个分支，与遍历性理论、大偏差理论以及统计力学等都有密切关系。 信息论课程中运用了大量的数学知识，包括：高等数学、线性代数、离散数学、概率论与数理统计、随机过程以及数值分析。例如：在讨论纠错编码中生成矩阵和一致校验矩阵的关系时，需要用到矩阵的运算和性质；在讨论纠错码的译码时，需要用到群、域和环的概念和理论；由于信源的数学模型是随机变量或者随机过程，因此概率论和随机过程的公式在课程中比比皆是；对于一般信道无法计算信道容量的精确解，利用数值分析的理论和方法设计计算机迭代算法，从而求取它的近似解。 信息论课程的外延很广，课程内容与很多其他专业课有着紧密的联系。这些内容或者在其他专业课中进行不同角度的探讨，或者在其他专业课程中得到应用。最典型的例子就是计算机网络课程里的ATM技术，ATM信元首部有8位的首部差错控制字段(HEC)，它是根据首部其余的32位计算出来的，用来编码的多项式为，这个码多项式问题在信息论的循环码（纠错码的一种）中有详细论述。此外，在多媒体技术课程中对图片、声音、视频等信息的压缩处理，也应用了大量的信息论内容。信息论课程的纵向内容很深，通常把信息论的目标和重点锁定在狭义信息论上，也就是三大块内容：信息的统计测度、信道容量和信息率失真函数，以及香农的三个重要定理——无失真离散信源编码定理、有噪信道编码定理和保真度准则下的信源编码定理。 一般在讨论编码定理的同时会简要地介绍几种编码方法，比如无失真离散信源编码方法有Shannon码、Fano码和Huffman码，纠错编码有线性分组码和循环码。如果需要对编码内容进行深入探讨，可以将其组成独立的课程，如信源编码课程、纠错编码课程、密码学以及数据压缩原理等等。例如，对于专门的信源编码课程，就可以从离散信源、连续信源和相关信源的角度对编码的理论和方法进行全方位和深入的介绍。 三、学习体会 根据上面提到的课程特点，结合自身实践，总结出以下几点体会： 1.重视数学理论的掌握。对于信息论基本内容（三大块内容和三个定理，上文有具体说明）的学习，特别要注意数学推导的完整性和严密性。要既掌握数学理论，又具备算法的开发能力。此外，对信息论与编码的学习，还需要增加一些程序开发实验。开发环境可以是C、C++或者Matlab，根据对这些内容掌握的程度进行选择。例如：用Matlab绘制熵函数曲线（或曲面）、一般信道容量迭代算法的实现和唯一可译码判断算法的实现。若要更深层次的理解与学习，还可以增加程序开发实验，开发环境一般选择C+ +，