信息论基础论文[共2页].docVIP

PAGE / NUMPAGES 信息论基础与应用的学习新的 摘要：随着信息时代的来临,信息在当今社会中发挥越来越大的作用,伴随这全球信息化过称的逐步加深,电子信息工程在扮演着越来越重要的角色,大到国际直接国与国之间的博弈,小到寻常百姓家的衣食住行。在当今社会掌握信息的多少甚至可以决定一件事情的成败。掌握更多的信息,对所掌握的信息做好收集、整理、归纳、分析,可以可以有效改善周围环境、格局,甚至决定胜败。作为信息科学产生的基础与起点,信息论更是在不同领域有着不同的应用。信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。是专门研究信息的有效处理和可靠传输的一般规律的科学,是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。《信息论基础与应用》信息与计算科学专业系列教材中的一本,是为落实新的《信息与计算科学专业教学规范》(讨论稿)而组织编写的一本专业基础课教材。这本教材从根本入手,详细的介绍了信息论的主要内容、学习意义、与数学学科的联系和作者的一些个人心得体会。 关键词：信息论 学习意义 认识与学习心得 与数学的联系 重要性 信息论基础与应用所学 《信息论基础与应用》的内容由四部分组成。第一部分介绍信息论与信息科学的基本知识,包括信息、信息度量、信息科学与信息技术的基本知识。着其中包括信息科学概论,信息论的产生发展与应用。这一部分是整个信息论的基础,是要学习信息论所必要掌握的基础知识。 第二部分介绍香农信息论的基本内容,包括信源、信道编码理论、有失真信源编码定理等内容。这一部分是整个教材最为核心的内容,将信源与信道编码定理作为信息论的基本理论与主要内容,这些内容不仅是近代信息处理的理论基础,具有深刻而又严格的数学描述与证明,而且在通信领域得到重要应用。通过这些内容的学习,可使我们看到数学理论在通信技术与通信工程中的重要作用,也可以看到数学理论与这些技术与工程问题的相结合过程。 第三部分介绍信息的应用,包括代数码与密码学简介、数据压缩与调制码理论及其他几种实用型的信息编码方法,如汉字编码与条码技术等。另外书中还介绍了信息论在统计、金融领域以及只能计算机领域等领域当中中的应用, 第四部分介绍信息处理的几种典型问题的实验内容。如：无失真信源编码问题、有无失真数据压缩编码问题、卷积码的模拟系统、图形码等。 信息论是以信息为主要研究对象,以信息的运动规律和应用方法为主要研究内容,以计算机等技术为主要研究工具,以扩展人类的信息功能为主要目标的一门新兴的综合性学科。信息科学由信息论、控制论、计算机科学、仿生学、系统工程与人工智能等学科互相渗透、互相结合而形成的。 信息论以运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学。是专门研究信息的有效处理和可靠传输的一般规律的科学,是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。通信的根本目的是将信息有效而可靠的从信源传到信宿。信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 信息的度量是信息论研究的基本问题之一。信息的度量就是从数量关系上把握信息。对信息的定量把我,是进一步探讨信息的科学规律的基础,也是信息处理和应用的基础。信息的度量方法不仅取决于对信息本质的把握,也取决于当时人们所拥有的数学方法。然而对于范围宽广的信息提出一个统一的度量是困难的。目前,信息度量方面比较成熟的理论就是被称为是“信息论之父的香农于1948年10月发表于《贝尔系统技术学报》上的论文《A?Mathematical?Theory?of?Communication》（通信的数学理论）中,香农提出的信息熵。所谓信息熵,是一个 HYPERLINK /view/1284.htm数学上颇为抽象的概念,在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H. Bennett对Maxwells Demon的重新解释,对信息的销毁是一个不可逆过程,所以销毁信息是符合 HYPERLINK /view/24939.htm热力学第二定律的。而产生信息,则是为系统引入负（ HYPERLINK /view/78147.htm热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。一般而言,当一种信息出现概率更高的时候,表明它被传播得更广泛,或者说,被引用的程度更高