信息论与编码报告.docVIP

信息论报告摘要：信息论是一门用概率论与数理统计方法来研究信息的度量、传递和交换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、存储和传递等问题的基础理论。自香农在1948年发表奠定信息论基础的《通信的数学理论》一文以来，信息论学科迅速发展并延伸到许多领域中。信息理论不仅在通信、计算机、控制等领域中有直接指导意义，还渗透到经济学、生物学、医学等广泛领域。本文简要介绍信息论的基本原理和发展史，重点介绍信息论在数据压缩、密码学、信号处理及量子理论中的应用。 关键词：信息、信息论、密码学、数据压缩、量子理论、熵 信息论原理 1.1信息论中的信息 信息是信息论中最重要最基本的概念。早期，人们对信息的理解是很肤浅的。最早把信息作为科学对象来加以研究的是通信领域，而这一领域的奠基之作当推哈特莱于1928年在《贝尔系统电话杂志》上发表的题为《信息传输》的论文。他把信息理解为选择通信符号的方式，并用选择的自由度来计量这种信息的大小。1948年，通信专家香农在《贝尔系统电话杂志》上发表了一篇名为《通信的数学理论》的论文，在文中他以概率论为工具，阐明了通信中的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得到了一组表示信息传递重要关系的编码定理。，把信息定义为随机不确定性的减少，信息用来减少随机不确定性的东西。基于这一思想，布里渊直接指出，信息就是负熵[1]。而控制论的奠基人维纳则把信息看做广义通信的内容，他指出：“正如熵是无组织（无序）程度的度量一样，消息集合所包含的信息就是组织（有序）程度的度量。事实上完全可以将消息所包含的信息解释为负熵”[2]。1.2信息论基础 （1）香农在论文《A Mathematical Theory of Communication》中给出了信息熵的定义： (1-2-1) 这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构决定的部分，比如语言结构的冗余性以及语言中字母、词的使用频度等统计特性。信息论中熵的概念与物理学中的热力学熵有着紧密的联系。波尔兹曼与吉布斯在统计物理学中对熵做了很多工作，信息论中的熵正受此启发。但是热熵只能增加不能减少；而在通信中，信息熵只会减少不会增加。 （2）联合熵： (1-2-2) 联合熵表示信源与信宿之间任意一对消息的共熵，即描述信源和信宿之间消息序列的平均不确定性。 （3）互信息：它是另一有用的信息度量，指两个事件集合之间的相关性。两个事件和的互信息定义为： (1-2-3) Shannon信息论的精髓在于将通信的内容抽象为信息，赋予信息以数学的形式，将通信过程中的信息加工变为严格的数学运算。如果一个信源的实际信息熵小于其占用的编码空间，那么就可以对信源参数做一种编码压缩的数学变换，使新编码所占用的空间可以压缩到接近甚至等于原始信息的信源熵。这样，就可以用较少的信道容量完成通信而不丢失信息。如信道中有干扰，则增加相应的监督量来纠错而保证信息的无损传输。最后在接收端还要做一种译码的数学反变换以完整地恢复原信号。这就是Shannon的信源编码和信道编码的基本数学原理[3,4]。 信息论的发展 信息论是在长期的通信工程实践和理论研究的基础上发展起来的。莫尔斯在1832-1835年间建立起了电报系统。1876年，贝尔发明了电话系统。接着在1895年英国的马可尼和俄国的波波夫就发明了无线通信。随着工程技术的发展，有关理论问题的研究也逐步深入。1832年莫尔斯电报系统中高效率的编码方法对后来香农的编码理论是有启发的。1885年L.Kclvin曾经研究过一条电缆的极限传信问题。1922年J.R.Carson对调幅信号的频谱结果进行了研究，并建立了信号频谱的概念。1924年奈圭斯特的论文《若干影响电报速度的因素》中已经包含了在可传输通信系统中量化“信息”和“线速度”的概念，并给出一个式子，其中，W是情报的传输速度，m是每个时间可以选择发送不同的电压电平的数目，而K是一个常数。他指出：如果以一个确定的速度来传输电报信号，就需要一定的带宽，他把信息率与带宽联系起来。1928年哈莱特发展了奈圭斯特的工作并提出把消息考虑为代码或单语的序列。 信息论的创始人香农认为：“通信的基本问题就是精确地或近似地在一点复现另一点选择的信号 ，通信就是将信息由发信者传给受信者。他提出了通信系统的随机模型，把许多复杂的通