信息论基础知识 科学技术发展的三大支柱——能源、材料、信息.pptVIP

青岛大学机电工程学院 第三章 信息论基础知识 ★ 科学技术发展的三大支柱——能源、材料、信息。 ★ 信息论——是信息科学的理论基础，是运用数理统计方法研究信息的获取、变换、传输与处理的新兴学科。 2）信息论与广义通信系统 ★ 本章主要内容 1）信息与信息技术 3）信息的定量描述——信源模型与信息熵 4）连续信源及最大熵定理 5）信息与熵的守恒定律 第三章 信息论基础知识 一、信息的定义 第一节 信息与信息技术 1、泛说 “信息就是消息”？ 有一定道理。但并不确切。确切地说：信息是消息的内核，消息是信息的外壳，消息与信息并不是一回事。一则消息可能包含丰富的信息，也可能只包含很少信息。 “信息就是情报”？ 不错，在一定条件下，信息就是情报。但从一般情形来讲，二者不能等同。情报只是信息中的一个类，而不是全体。 “信息就是知识”？ 这也要有条件。反过来讲，知识是一种信息，这是对的，但知识也是信息的一部分，而不是全体。 信息也不等同于信号。信号是消息的载体，消息蕴含在信号中。 目前，人们对于信息的研究还没达到完全揭示其本质的程度。 2、定义 几个较为典型和著名的关于“信息”的定义： （2）美国科学家山农(C.E.Shanon)在1948年“通信的数学理论”一文中，把信息定义为熵的减少。换言之，他把信息定义为：“能够用来消除不定性的东西。”因为熵是不定性的度量。