信息论基础论文.docx

信息论基础发展史 信息论( information theory )是运用概率论与数理统计的方法研究信息、 信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和 控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获 限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作 为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信 息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源 －信道隔离定理相互联系。 信 息 论 从 诞 生 到 今 天 ，已 有 五 十 多 年 历 史 ，是 在 20 世 纪 40 年 代 后期从长期通讯实践中总结出来的，现已成为一门独立的理论科学， 回顾它 的发 展历 史，我 们 可以 知道 理论 是 如何 从实 践中 经过 抽象 、概 括 、提 高而 逐步 形成 的。它 是在长 期的通信 工 程 实践和 理论研 究 的基 础上发展起来的。 通 信 系 统 是 人 类 社 会 的 神 经 系 统 ，即 使 在 原 始 社 会 也 存 在 着 最 简 单的通 信工 具和 通信 系 统，这 方面 的社 会 实践 是悠 久漫 长的 。电 的通 信 系统( 电 信 系统) 已有 100 多 年 的历史了 。在 一百 余年 的发 展 过程 中 ，一 个 很 有 意 义 的 历 史 事 实 是 ：当 物 理 学 中 的 电 磁 理 论 以 及 后 来 的 电子学 理论 一旦 有某 些 进展 ，很快 就会 促进 电信 系统 的创 造发 明 或改 进。 当法拉第(M . Faraday)于1820年--1830 年期间发现电磁感应的 基 本 规 律 后 ， 不 久 莫 尔 斯 (F ． B． Morse) 就 建 立 起 电 报 系 统 (1832 — 1835) 。 1876 年，贝尔(A . G. BELL)又发明了电话系统。1864 年 麦克斯韦 (Maxell) 预 言了 电 磁 波的 存 在 ， 1888 年 赫兹 (H ． Hertz) 用实验证明了这一预言。接着1895年英国的马可尼(G.Marc oni) 和俄 国的波波夫(A . C. n on oB)就发明了无线电通信。 本世纪初(1907 年) ，根 据 电子 运 动的 规 律 ，福 雷斯特(1 ， Forest) 发 明 了 能把 电 磁波 进行放大的电子管。之 后很快出现了远距离无线电通信 系统。大 功率 超高频电子管发明以后，电视系统就建立起来了(1925 — 1927) 。电 子 在电磁 场运 动过 程中 能 量相 互交 换的 规律 被人 们认 识后 ，就出 现 了微 波电子管(最初是磁控管，后 来是速调管、行 波管)，接着，在三十年 代末和四十年代初的二次世界大战初期，微波 通信系统 、微波雷达系 统等就迅速发展起来。五 十年代后期发明了量子放大器 ，六十年代初 发明的激光技术，使人类进入了光纤通信的时代。 现代信息论实际是从 20 世纪 20 年代奈奎斯特( H.Nyquist ) 和哈特莱( L.V.R.Hartley )的工作中开始的. 在 1832 年莫尔斯电报 系统中高效率编码方法对后来香农的编码理 论是有启发的。1885 年 凯 尔 文 (L.Kelvin) 曾 经 研 究 过 一 条 电 缆 的 极 限 传 信 率 问 题 。 1922 年 卡逊J . R. Carson)对调幅信号的频谱结构进行了研究，并建立了信 号 频谱概念 。 1924 年 奈奎斯特 (H．Nyquist) 指出， 如 果 以一 个 确定 的速度来传输电报信号，就需要一定的 带宽。他把信息率与带宽联系 起来了。1928年哈特莱(R . V. Hartley) 发展了奈奎斯特的工作，并 提出把消息考虑为代码或单语的序列。他的工作对后来香农的思想是 有影响的。 香农被称为是 “信息论之父 ” 。人们通常将香农于 1948 年 10 月发表于 《 贝 尔 系 统 技 术 学 报 》 上 的 论 文 《 A Mathematical Theory of Communication 》(通信的数学理论)作为现代信息论研究的开端。论文中 系统地提出了关于信息的论述，创立了信息论。他为解决通讯技术中的信息 编码问题， 把发射信息和接收信息作为一个整体的通讯过程来研究， 提出通讯系 统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。 信息科学是以信息为主要研究对象， 以信息的运动规律和应用方法为主要研 究内容，以计算机等技术为主要研究工具， 以扩展人类的信息功能为主要目标的 一门新兴的综合性学科。信息科学由信息论、控制论、计算机科学、