信息论LZW压缩算法实现-毕业论文（设计）.docVIP

本科毕业设计论文 第 PAGE 26 页 共 NUMPAGES 26 页 1 引言 现代信息论实际上是从本世纪二十年代奈奎斯特(Nyguist)和哈特莱(Hartly)的工作开始的。1924年奈奎斯特发表了“影响电报速率因素的确定”一文，1928年哈特莱发表了“信息传输”一文。他们最早研究了通信系统传输信息的能力，并给出了信息度量方法。 1946年柯切尔尼柯夫(Комельников)发表了“起伏噪声下的潜在抗干扰理论”的学位论文，他根据最小错误概率准则和最小均方误差准则研究了离散消息和连续消息的最佳接收问题。l943年到l949年维纳(Wiener)发表了两篇名著，这是战时关于目标自动予测和武器火力控制方面的研究成果，他根据最小均方误差准则研究信号的过滤问题。 1948年香农(Shannon)发表了“通信的数学理论”一篇权威性长文，讨论了信源和信道特性。1949年香农又发表了“噪声中通信”一文。这两篇论文奠定了现代信息论的基础。通常称之为香农信息论，而香农也因此而成为信息论的奠基人。 最近十多年来，无论在基本理论方面还是在实际应用方面，信息论都取得了巨大的进展。在香农理论基础上给出的最佳的噪声通信系统模型，近年来正在成为现实，这就是伪噪声编码信系统的迅速发展和实际应用。在噪声中信号过滤与检测基础上发展起来的信号检测理论和在抗干扰编码基础上发展起来的编码理论已成为近代信息论的两个重要分支。此外，象模糊信息，相对信息，主观信息以及智能信息处理，自动化信息控制等大量崭新的课题的研究也相继展开，使信息理论的面貌为之一新，并将大大促进信息科学的发展。 2 信息与信息论 2.1 信息论的研究内容 与其它科学一样，信息论也是从生产实践中总结出来的，反过来又服务于实践，指导实践。信息论虽然主要地是从通信实践中总结出来的，但由于它的许多规律的概括性和综合性，已远远超过通信科学技术的范围，在其它许多科学领域得到应用。因此，信息论的研究范畴极为广泛，除了研究通信的问题以外，还包含诸如数学、文字学、语言学、心理学、神经生理学以及语义学等方面的问题。 归纳起来，信息论研究的内容，大致包括以下几个方面。 通信的统计现论的研究，主要研究利用统计数学工具分析信息和信息传输的统计规律，其具体内容有： 信息的度量， 信息速率与熵， 信道传输能力——信道容量。 信源的统计特性，主要包括： 文字(如汉字)，字母(如英文)统计特性， 语声的参数分析和统计特性， 图片及活动图象(如电视)的统计特性， 其它信源的统计特性。 收信者接收器官的研究，主要包括： 人的听觉和视觉器官的特性， 人的大脑感受和记忆能力的模拟。 这些问题的研究与生物学、生理学、心理学的研究密切相关。 编码理论与技术的研究，主要包括： 有效性编码：用来提高信息传输效率，它主要是针对信源的统计特性进行编码，所以有时也称为信源编码， 抗干扰编码：用来提高信息传输的可靠性，它主要是针对信道统计特性进行编码，所以有时也称为信道编码。 提高信息传输效率的研究，主要包括： 功率的节约， 频带的压缩， 传输时间的缩短，即快速传输问题。 抗干扰理论与技术的研究，主要包括： 各种调制制度的抗干扰性， 理想接收机的实现。 噪声中信号检测理论与技术的研究，主要包括： 信号检测的最佳准则， 信号最佳检测的实现。 信息论的研究内容极其广泛，它是一门新兴的边缘科学，是当代信息科学的基本的和重要的理论基础。 综上所述，信息论的研究范畴可以概括为以下三个方面的内容： 狭义信息论：主要研究信息的度量、信道容量以及信源编码等问题。以香农信息论为基本内容，也称为基本信息论。 一般信息论：主要研究通信的一般理论，其中包括信号与噪声理论，信号过滤与检测，调制制度，抗干扰编码以及信息处理等问题。因此，一般信息论主要是研究信息传输的基本理论，即通信的基本问题。所以一般信息论也称为通信理论。 广义信息论：其内容不仅包括上面所述的两个方面，而且还包括与信息有关的其它领域。如生理学，生物学，遗传工程学等等。广义信息论是指利用狭义信息论观点来研究一切问题的理论。 2.2 信息的定义 《辞海》里信息论的词条说：“信息是指对消息接收者来说预先不知道的报道”，这里强调了信息的未知性，近代控制论创始人维纳在《控制论》一书中指出：“信息就是信息，不是物质，也不是能量。”这里他虽然没有给“信息”下一个明确的定义，但是却指出了“信息”是独立于物质和能量之外的一种客观存在。 广义的信息是指一个事物的运动状态以及状态发生变化的方式，从这个意义上讲，信息是一种客观存在，与我们主观是否感觉到它的存在没有关系，所以广义的信息又叫“本体论信息”，是一种纯客观的信息概念。 狭义的信息概念只把那些认识主体所能感受到的“某个事物的状态及状态的变化方式”才视为信息。