信息论与编码.docVIP

信息论基础 摘要 信息技术在人类历史的进程当中随着生产力的进步而发展。而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。是一门把信息作为研究对象，以揭示信息的本质特性和规律为基础，应用概率论、随即过程和数理统计等方法来研究信息的存储、传输、处理、控制、和利用等一般规律的学科。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。本文主要对信息基础作了介绍。 关键词：平均自信息 信息熵 互信息 信道容量 前言 信息论是在长期的通信工程实践和理论研究的基础上发展起来的。从诞生到今天，己有五十多年历史，现己成为一门独立的理论科学。回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。电的通信系统(电信系统)己有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展，其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等，一切都离不开消息传递和信息流动。 随着工程技术的发展，有关理论问题的研究也逐步深入。 1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的。1885年凯尔文(L.Kelvin)曾经研究过一条电缆的极限传信率问题。1922年卡逊(J.R.Carson)对调幅信号的频谱结构进行了研究，并建立了信号频谱概念。1924年奈奎斯特(H. Nyquist)指出，如果以一个确定的速度来传输电报信号，就需要一定的带宽。他把信息率与带宽联系起来了。1928年哈特莱(R. V. Hartley)发展了奈奎斯特的工作，并提出把消息考虑为代码或单语的序列。他的工作对后来香农的思想是有影响的。 1936年阿姆斯特朗(E. H. Armstrong)认识到在传输过程中增加带宽的办法对抑制噪声十扰肯定有好处。根据这一思想他提出了宽偏移的频率调制方法，该方法是有划时代意义的。 信息论作为一门严密的科学分支，卞要归功于贝尔实验室的香农。他在1948年发表的论文《通信的数学理论》奠定了信息论的基础。控制论的创始人维纳也对信息论有不可忽视的贡献。香农和维纳的基本思想都是把通信作为统计过程来处理。他们采用的术语、方法也主要依靠统计理论。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源一信道隔离定理相互联系。 信息论的研究范围极为广阔。一般把信息论分成二种不同类型(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。(2)一般信息论卞要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而目还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。信息就是一种消息，它与通讯问题密切相关。 目前，人们己把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电了学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文A Mathematical Theory of Communication(通信的数学理论)作为现代信息论研究的开端。 信息的度量 信息这一概念是比较抽象的，它不像通常的长度，重量等概念，有一个比较直观的印象，信息必须要有一个比较容易用来分析的度量的数学工具。这样才方便人们能够更好的认识和理解它。 在各种通信系统的信源当中，离散随机信源是一类最基本的信源，信源输出是单个的符号的消