信息论基础论文.docVIP

信息论基础与应用的学习新的 摘要：随着信息时代的来临，信息在当今社会中发挥越来越大的作用，伴随这全球信息化过称的逐步加深，电子信息工程在扮演着越来越重要的角色，大到国际直接国与国之间的博弈，小到寻常百姓家的衣食住行。在当今社会掌握信息的多少甚至可以决定一件事情的成败。掌握更多的信息，对所掌握的信息做好收集、整理、归纳、分析，可以可以有效改善周围环境、格局，甚至决定胜败。作为信息科学产生的基础与起点，信息论更是在不同领域有着不同的应用。信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。《信息论基础与应用》信息与计算科学专业系列教材中的一本,是为落实新的《信息与计算科学专业教学规范》(讨论稿)而组织编写的一本专业基础课教材。内容由四部分组成。第一部分介绍信息论与信息科学的基本知识,包括信息、信息度量、信息科学与信息技术的基本知识 第二部分介绍香农信息论的基本内容,包括信源、信道编码理论、有失真信源编码定理等内容。信源与信道编码定理作为信息论的基本理论与主要内容，这些内容不仅是近代信息处理的理论基础，具有深刻而又严格的数学描述与证明，而且在通信领域得到重要应用。通过这些内容的学习，可使我们看到数学理论在通信技术与通信工程中的重要作用，也可以看到数学理论与这些技术与工程问题的相结合过程。 第三部分介绍信息的应用,包括代数码与密码学简介、数据压缩与及其他几种实用型的信息编码方法,如汉字编码与条码技术等。信息论在统计金融领域中的应用, 第四部分介绍信息信息是以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门新兴的综合性学科。信息科学由信息论、控制论、计算机科学、仿生学、系统工程与人工智能等学科互相渗透、互相结合而形成的。所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H. Bennett对Maxwells Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。我们可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样子我们就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。 信息熵的计算公式为：H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n) 二、信息论基础与应用的学习认识 信息就是一种消息，它与通讯问题密切相关。1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。 信息科学是指以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具研究信息运动规律和应用方法的科学，是由信息论、控制论、计算机理论、人工智能理论和系统论相互渗透、相互结合而成的一门新兴综合性科学。其支柱为信息论、系统论和控制论。以扩展人类的信息功能为主要目标的一门新兴的综合性学科。 信息技术，是主要用于管理和处理信息所采用的各种技术的总称。它主要是应用计算机科学和通信技术来设计、开发、安装和实施信息系统及应用软件。它也常被称为信息和通信技术。主要包括传感技术