第三章节 信息论基础知识新.pptVIP

青岛大学机电工程学院 第三章 信息论基础知识 ★ 科学技术发展的三大支柱——能源、材料、信息。 ★ 信息论——是信息科学的理论基础，是运用数理统计方法研究信息的获取、变换、传输与处理的新兴学科。 2）信息论与广义通信系统 ★ 本章主要内容 1）信息与信息技术 3）信息的定量描述——信源模型与信息熵 4）连续信源及最大熵定理 5）信息与熵的守恒定律 第三章 信息论基础知识 一、信息的定义 第一节 信息与信息技术 1、泛说 “信息就是消息”？ 有一定道理。但并不确切。确切地说：信息是消息的内核，消息是信息的外壳，消息与信息并不是一回事。一则消息可能包含丰富的信息，也可能只包含很少信息。 “信息就是情报”？ 不错，在一定条件下，信息就是情报。但从一般情形来讲，二者不能等同。情报只是信息中的一个类，而不是全体。 “信息就是知识”？ 这也要有条件。反过来讲，知识是一种信息，这是对的，但知识也是信息的一部分，而不是全体。 信息也不等同于信号。信号是消息的载体，消息蕴含在信号中。 目前，人们对于信息的研究还没达到完全揭示其本质的程度。 2、定义 几个较为典型和著名的关于“信息”的定义： （2）美国科学家山农(C.E.Shanon)在1948年“通信的数学理论”一文中，把信息定义为熵的减少。换言之，他把信息定义为：“能够用来消除不定性的东西。”因为熵是不定性的度量。 （3）意大利学者郎格(G.Longo)在1975年出版的《信息论：新趋势和未决问题》一书中定义为：“事物之间的差异，而不是事物本身”。 （1）美国科学家维纳(N.Wiener)在1948年出版的奠基性著作《控制论--动物和机器中的通信与控制问题》一书中指出：“信息就是信息，不是物质，也不是能量。”后来，他又在《人有人的用处》一书中，提出新的看法“信息就是人和外界互相作用的过程中互相交换的内容的名称。” 一般地讲，从纯客观的角度，信息定义为： 事物 运动 的 状态 和 方式。 广义的 相对稳定 运动变化 事物运动的两个基本侧面 广义的 二、信息的作用 1、信息是一种资源 正像物质和能源是人类生存和发展所必需的资源一样，信息也是一种不可缺少的资源。物质→各种材料；能源→各种动力；信息→无穷无尽的知识和智慧。 物质使系统具有形体；能量使系统具有力量；信息使系统具有“灵魂”。 2、物质、能量、信息三者的关系 自动化防空体系 自动化轧钢系统 3、信息的基本性质 （1）可以识别 通过人的感官、各种探测工具。 ★ 信息科学——是研究如何认识和利用信息的科学。认识信息方面：探讨信息的本质，建立信息问题的完整数学描述方法和定量度量方法，探明信息的产生、识别、提取、变换、传递、检测、存储、检索、处理和分析。利用信息方面：研究利用信息进行有效控制和组织最优系统的一般原理和方法。 三、信息科学 （3）可以存储 （2）可以转换 例如，电信号、代码 语言、文字、图像等 （4）可以传输 此外，还具有可共享性和永不枯竭性。即信息经过传播可以成为全人类的财富；信息作为事物运动的状态和方式，是永不枯竭的，只要事物在运动，就有信息存在。 1、信息科学 ★ 信息科学以信息为主要研究对象；传统科学以物质和能量为研究对象。 ★ 信息科学的主体结构应是信息论、控制论、系统论三者的结合；而人工智能则是三者的综合利用。 2、信息科学的方法论 信息科学的方法论，包括1）信息分析综合法；2）行为功能模拟法；3）系统整体优化法。有时也称为信息方法、功能准则和系统准则。 （1）信息分析综合法 从信息的观点出发，抓住对象的信息特征和联系来分析对象，理解和揭示它的工作机制。例如，由蝙蝠→警戒雷达系统；青蛙识别活动目标→活动目标雷达系统；人脑部分思维→人工智能系统，等等。 （2）功能模拟法 就是在信息综合时，要从行为的观点出发，以行为的相似性为基础，从功能上模拟事物与环境的相互作用方式。 在进行信息分析和综合时遵循的原则：追求功能上的相似，而绝少追求结构上的相似。 （3）系统整体优化法 就是在信息综合时，要从系统的观点出发，从整体与部分之间、整体与外部环境之间的相互联系中综合地考察对象，进行合理的组织，从而达到最优地解决问题的目的。 信息分析综合法主要源于信息论；行为功能模拟法主要来自控制论；系统整体优化法则以系统工程、系统论为主要背景。 补充知识：声音是人们生活中不可缺少的要素。通过语言，人们交流思想和感情，优美的音乐使人们获得艺术的享受，工程技术人员还把声学系统应用在工业生产和军事技术中，成为颇为重要的信息之一。自从潜水艇问世以来，随之而来的就是水面的舰船如何发现潜艇的位置以防偷袭；而潜艇沉入水中后，也