信息的概念.ppt

1.1 信息的概念 “信息”不同于消息 在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义。信息论认为，消息是一种能够被人们感觉器官所感知的客观物质运动和主观思维活动的状态的表达形式（如文字、符号、数据、语言、音符、图片、视频等），消息中包含信息，是信息的载体。 “信息”不同于信号 信号是承载消息的物理量，（如电信号、光信号、声音信号、生物信号等）。 在通信系统中，为了克服时间或空间的限制，必须对信息进行加工处理，把消息变成适合于信道传输的物理量，称为信号。 * 信息论 电子信息工程学院 * 电子信息工程学院 * 信息论 主讲教师：李玉峰 信息论是将通信技术、概率论、随机过程、数理统计等学科相结合逐步发展而形成的一门新兴科学。 奠基人：美国数学家香农 (C. E. Shannon)，1948年发表了著名的论文 “通信的数学理论” ，为信息论奠定了理论基础。 半个世纪以来，以通信理论为核心的经典信息论，以“信息技术”为物化手段向高精尖方向发展，神奇般的把人类推向信息时代，已经超越了狭义的通信工程的范畴，进入了信息科学这一更广阔、更新兴的领域。 在香农信息论的指导下，人们在信源编码和信道编码两个领域进行了卓有成效的研究，在提高通信系统信息传输的有效性和可靠性上取得了丰硕成果。 第一章 绪论 “通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。 Claude Shannon 1916-2001 第一章 绪论 信息是信息论中最基本、最重要的概念，既抽象又复杂。而在日常生活中，信息常常被认为是“消息”、“知识”、“情报”等。 “信息”不同于情报 情报是人们对于某个特定对象所见、所闻、所理解而产生的知识，其含义比“信息”窄的多。情报 (intelligence) 与信息(information) 有着严格的区别，情报是指经过慎密分析得到的特殊的信息，可作为决策的依据，它只是一类特定的信息，不是信息的全体。 “信息”不同于知识 知识是人们根据需要，从自然界收集得来的数据中提取得到的有价值的信息，它们是对客观事物规律性的概括，是一种具有普遍性和概括性的高层次的信息。 1.1 信息的概念 信息、消息和信号是既有区别又有联系的三个不同的概念。 消息中包含信息，是信息的载体。 信号携带着消息，它是消息的运载工具。 信息是由具体的物理信号、数学描述的消息的内涵。 同一信息，可以采用不同的消息形式(比如文字、语言、图象等)来载荷。例如球赛进展情况可用电视图像、广播语言、报纸文字等不同消息来表述。 同一信号形式，比如“0”与“1”，可以表达不同形式的信息，如无与有、断与通、低与高(电平)等等。 1.1 信息的概念 作为科学术语，最早是哈特莱(R. V. Hartley)在1928年发表的《信息传输》一文中提出：“发信者所发出的信息，就是他在通信符号表中选择符号的具体方式”。定义不涉及到信息的价值和具体内容，只考虑选择的方式，但没有考虑各种可能选择方法的统计特性。 1948年，维纳 (N. Wiener)首次将信息与物质、能量相提并论。信息就是信息，不是物质也不是能量。将“信息”上升到“最基本概念”的位置。 从维纳的观点，物质、能量和信息是相互有区别的，是人类社会赖以生存、发展的三大基础：世界由物质组成，能量是一切物质运动的动力，信息是人类了解自然及人类社会的凭据。 1.1 信息的概念 Norbert Wiener, 1894~1964, founder of cybernetics. 1.1 信息的概念 1948年，香农 (C. E. Shannon) 发表了一篇著名的论文：“通信的数学理论”。 他从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。 香农信息定义：信息是事物运动状态或存在方式的不确定性的描述。(Information is a measure of ones freedom of choice when one selects a message) 通信的过程是传输消息，消息的传递过程具有不确定性： 收信者在收到消息之前，并不知道消息的具体内容； 收信者在收到消息之后，由于干扰的存在，并不一定能确定所收到的消息是否正确与可靠。 1.1 信息的概念 通信过程是一种消除上述不确定性的过程。不确定性一旦被消除，收信者就得到了信息。 消息的传递过程是一个从不知到知的过程，或是从知之甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。 在这里不确定性指的是随机性，因此可以考虑运用研究随机事件的数学工具 —— 概率论和随机过程来测度不确定性的大小，从而给出测度信息的基本方法。 某一事物状态的不确定性的大小，与该事