信息论概述及其应用.docxVIP

信息论概述及其应用 信息的概念 人类从产生的那天起，就生活在信息的海洋之中。 人类社会的生存和发展，无时无刻都离不开接收信息，传递信息， 处理信息和利用信息。 比如原始人的“结绳记事”也许是最初期的表达，存储和传送信息 的办法，古代的“烽火告警”是一种最早的快速，远距离的传递信 息的方式。 近现代以来，由于电子计算机的迅速发展和广泛应用，尤其个人微 型计算机得以普及，大大提高了人们处理加工信息，存储信息及控 制和管理信息的能力。 随着计算机技术，微电子技术，传感技术，激光技术，卫星通讯， 移动通讯等等新技术的发展和应用，尤其是近年来以计算机为主体 的互联网技术的兴起与发展，他们相互结合，相互促进，以前所未 有的的威力推动着人类经济和社会的高速发展。这是这些现代新科 学，新技术，将人类社会推入到高度信息化时代。 信息与信号，消息的比较 消息是信息的数学载体，信号是信息的物理载体。 信号是具体的，物理的 消息是具体的，非物理的 信息是非具体的，非物理的 信号最具体，它是一物理量，可测量，可显示，可描述，同时它又 是载荷信息的试题信息的物理层表达。 消息是具体的，非物理的，可以描述为语言文字，符号，数据，图 片，能够被感觉到，同时它也是信息的载荷体。是信息论中的主要 描述形式。 信息是抽象的，非物理的，是哲学层的表达。 信息的定义 关于信息的科学定义，到目前为止，国内外已有上百种说法，他们 都是从不同侧面和不同的层次来揭露信息的本质。 最早对信息进行科学定义的是莱哈特。他在 1928 年发表的《信息传 输》一文中，首先提出信息这个概念。 但是哈莱特这种理解在一定程度上能够解释通信工程中的一些信息 问题，但他存在着严重的局限性。 1948 年，控制论的创始人之一，美国科学家维纳出版了《控制论— —动物和机器中通讯与控制问题》一书。他指出了，信息就是信息 自己，不是其他什么东西的替代物，它是与物质，能量等同等重要 的基本概念。正是维纳，首先将信息上升到了最基本概念的位置。 香农在 1948 年发表了一篇著名的论文—《通信的数学理论》。他从 研究通信的系统传输的实质出发，对信息做了科学的定义，并进行 了定性和定量的描述。 香农信息论是以概率论、随机过程为基本研究工具，研究广义通信 系统的整个过程，而不是整个环节，并以编、译码器为重点，其关 心的是最优系统的性能及如何达到该性能（并不具体设计环节，也 不研究信宿）。目前，香农信息论方面值得注意的研究方向有信息 概念的深化问题、信息失真理论的发展及在数据压缩中的应用、以 计算机为中心的信息处理系统的基本理论等。 信息论研究的对象，目的和内容 信息论研究的对象是统一的通信系统模型。 通信系统模型主要分成下列五部分。 ，信息源：信源是产生消息和消息序列的源。 ，编码器：编码是吧消息变成信号的措施。 ，信道：信道是指通信系统把载荷消息的信号从甲地传输到乙地的 媒介或通道。 ，译码器：译码就是把信道输出的编码信号（已叠加干扰）进行反 变换，一般认为这种变换是可逆的。译码器一般可以分为新源译码 器和信道译码器。若在保密通信系统中，应还包括解密译码。 5，信宿：信宿是消息传送的对象，即接收消息的人或机器。信源和 信宿可处于不同地点和不同时刻。 香农信息论的建立与发展 香农于 1948 年 10 月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作 为现代信息论研究的开端。在这两篇论文中，他用概率测度和数理 统计的方法系统地讨论了通讯的基本问题，首先严格定义了信息的 度量---熵的概念，又定义了信道容量的概念，得出了几个重要而且 带有普遍意义的结论，并由此奠定了现代信息论的基础。 ，香农信息理论的数学严格化 ，无失真信源编码定理和技术的发展 ，信道纠错编码的发展 ，限失真信源编码的提出和发展 ，多用户，网络信息论的发展 ，信息保密与安全理论的提出和发展 香农定义的信息仍有其局限性，存在一些缺陷。 信息论在相关领域的应用 信息很早就被人们利用，但真正被作为一个科学概念探讨，则是 20 世纪 40 年代以后的事，而被作为科学为人们普遍认识和利用则是近 几十年的事情。当今世界，信息技术日新月异，在经济社会各领域 的应用不断深化，日益深刻地影响着人类社会发展。信息产业已经 发展成为当前世界上最大的产业。 今年来，逐渐形成的光学信息论，量子信息论，生物信息论都是信 息科学的重要分支。 信息论主要的应用范围： 编码学 数据传输 检测理论  密码学与 密 码 分 析 学 数据压缩 估 计 理 论 政治学（ 政 治 沟 通） 参考文献 N. Wiener，《控制论—动物和机器中的通信与控制问题》，科学出