新信息论论文.docVIP

DVD到个人电脑，从卫星通信到文件，在我们今天的生活中，信息几乎在每个领域都扮演着重要角色。工程师克劳德·香农于1948年奠定了信息论的基础，他指出了通信的极限。基于这一理论产生了数据压缩技术、纠错技术等各种应用技术，这些技术提高了数据传输和存储的效率。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 当然，信息论的重大应用远不止于此。DNA是一种信息存储物质，正是信息论帮助人们解开了生物基因组密码之谜。简单地说，信息论包含了生命、宇宙乃至一切。 二、熵与互信息 香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义： H = - ∑ pilogpi 这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。 信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。 互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为： I(X,Y) = H(X) + H(Y) - H(X,Y) 其中 H(X,Y) 是联合熵(Joint Entropy)，其定义为： H(X,Y) = - ∑ p(x,y)logp(x,y) x,y 互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。 信息论被广泛应用在： 编码学、密码学与密码分析学、数据传输、数据压缩、检测理论、估计理论、信息论第一定律、编辑词条 三 、信息论对现代社会的影响 信息论对现代社会的影响是多方面的。首先, 在理论研究方面, 信息论所处的地位已远远超出了申农当年所界定的“通信的数学理论”的范畴, 得到了不断的扩充和发展, 出现了语义信息、语法信息与语用信息等研究与信息的意义有关的学科, 以及面向智能研究的全信息理论[6 ] 。如今, 信息已成为与物质、能量并列的宇宙中的三个基本要素, 世间万物的发展变化可归结为物质、能量和信息的传递和转化过程。另一方面, 在科学和技术高度发展的今天, 信息的概念也被渗透到许多不同的学科和领域, 深入到了社会生活的各个方面, 成为可与相对论和量子力学并驾齐驱的新一代边缘交叉学科的重要组成部分。特别是以信息论、控制论和系统论为代表的“老三论”以及以普里高津( I. Prigogine) 的耗散结构理论, 哈肯( H. Haken) 的协同学和托姆( R.Thom) 的突变论或艾根(M. Eigen)的超循环理论为代表的“新三论”的出现, 标志着一代新的边缘交叉学科的兴起。它们的形成和发展对现代科学的研究具有重要的方法论上的指导意义。 第二, 在技术应用方面, 信息论为现代通信理论和技术的发展作出了不可磨灭的贡献, 信息科学与材料科学、能源科学一起已成为现代高新技术领域的三大关键技术, 信息产业已是当今社会中发展最快、效益最高、潜力最大、影响最广的最重要的支柱产业之一。科学技术的进步使得计算机从一种单纯的快速计算机器发展成为能智能化、高速度地处理一切数字、符号、文字、语音、图像以至进行知识发现和逻辑推理等的强大工具, 其应用领域已覆盖了社会生活的方方面面, 成为推动人类社会进步的强大动力。计算机与通信技术的结合更深刻地影响和改善了人们的生产与生活方式, 促进了人类文明的进步。没有信息论的指导, 就不会有现代的无线电技术, 电视接收系统, 不会有现代的移动通信和卫星导航、定位系统, 更不会有“英特网”和“信息高速公路”的出现, 而所有这些领域业已成为现代技术进步的重要标志。第三, 在社会经济领域, 21 世纪人类社会将全面进入信息时代, 智力、技术和信息已成为现代社会经济生活中不可缺少的重要资源。信息科学的迅速发展和信息高速公路的出现, 使先进的技术和信息能够为不同国家和民族所使用, 有利于国际性的合作和交往的发展, 同时也为市场经济中资源的有效配置和利用提供了良好的社会环境, 避免了项目的重复建设和产品的盲目生产。企业充分利用互联网上的有用信息和在互联网上做广告也为其利润的