信息论-绪论.pptVIP

(2) 信息论的形成和发展 一般认为信息论的创始人是香农和维 纳，但由于香农的贡献更大，所以更多 的人认为香农更合适。 ?维纳，美国数学家，控制论的创始人。1894年11月26日生于密苏 里州的哥伦比亚，1964年3月18日卒于斯德哥尔摩。 ? 维纳在其50年的科学生涯中，先后涉足哲学、数学、物理学和工 程学，最后转向生物学，并且在各个领域中都取得了丰硕的成果， 称得上是恩格斯颂扬过的、本世纪多才多艺和学识渊博的科学巨人。 他一生发表论文240多篇，著作14本 ，自传两本《昔日神童》和 《我是一个数学家》。 ?维纳的主要成果有八个方面：建立维纳测度、引进巴拿赫—维纳 空间、位势理论、发展调和分析、发现维纳—霍普夫方法、提出维 纳滤波理论、开创维纳信息论、创立控制论。 目前的发展 香农信息论： ? ? ? ? ? ? 信息概念的深化； 网络信息理论和多重相关信源编码理论的发展和应用； 通信网的一般信息理论研究； 信息率失真理论的发展及其在数据压缩和图像处理中的应用； 信息论在大规模集成电路中的应用； 磁记录信道的研究等。 纠错码理论：在工程方面应用及最优编码方法研究。 维纳信息论：对量子检测和估计理论、非参数检测和估计理论以及 非线性检测与估计理论的研究。 (3)信息论研究的对象、目的和内容 ① 信息论研究的对象和目的 ② 信息论研究的内容 ③ 香农和维纳理论的区别 ②信息科学的有关概念 教科书对消息和信号有明确的定义 但如何给信息下定义始终是个困扰大家的问题。 我国的《辞海》对信息作了如下解释： 信息：通信系统传输和处理的对象，泛指消息和信号的具体内 容和意义。通常须通过处理和分析来提取。信息、物质和能量 被称为系统的三大要素。信息和物质的量值与信息的随机性有 关，如在接收端无法预估消息或信号中所蕴含的内容或意义， 即预估的可能性越小，信息量就越大。 此解释首先肯定了信息、消息和信号的密不可分性 信息的一般含义及定义 ②信息科学的有关概念 《科学技术大系》将这三者合在一起加以说明： 信息·消息·信号： 信息是认识主体（人、生物、机器）所感受的或所表达 的事物运动的状态和运动状态变化的方式。信息是人们 在适应外部世界和控制外部世界的过程中，同外部世界 进行交换的内容。信息的特征为： 接收者在收到信息之前，对它的内容是不知道的，所以信息是 新知识、新内容； 信息是能使认识某一事物的未知性或不确定性减少的有用知 识； 信息可以产生，也可以消失，同时信息可以被携带、贮存及处 理; 信息是可以量度的，信息量有多少的差别。 ②信息科学的有关概念 消息是指包含有信息的语言、文字和图像等。 消息中的不确定成分是信息。 在通信中，消息是指担负着传送信息任务的单个符号或 符号序列。 这里的符号包括文本、数据、语言、图形和图像等。 消息是具体的，它载荷信息，但它不是物理性的。 信号是消息的物理体现，为了在信道上传输消 息，就必须把消息加载到具有某种物理特征的信 号上去。 信号是信息的载荷子或载体，它是物理性的。 在近代通信中信号往往是电信号和光信号。 ②信息科学的有关概念 应该说，以上两种解释具有代表性和一定的权威 性，都力图对信息给出正确及全面的定义。然 而，信息科学还在飞速发展，人们对信息也不断 赋予新的内涵，对信息的理解不但要考虑信息理 论发展的历史，也要考虑它的将来，因此， 正确及全面地理解它的涵义远比记住它的定义重 要。 为此，先讨论信息科学的有关概念及信息理论研 究的主要内容，再回过头来看看这些定义，也许 会有更深的理解 。 信息与消息和信号的区别 消息：是指包含有信息的语言、文字和图像等， 可表达客观物质运动和主观思维活动的状态。 信息必须依附于一定的物质形式存在，这种运载信息的物 质，称为信息载体。 消息中包含信息，是信息的载体。 同一信息可用不同的消息形式来载荷。 一则消息也可载荷不同的信息，可能包含丰富的信息，也 可能包含很少的信息。 消息和信息既有区别又有联系。 ②信息科学的有关概念 信号：把消息变换成适合信道传输的物理量，这种 物理量称为信号（如电信号、光信号、声音信号等）。 信号携带着消息，它是消息的运载工具。 信号携带信息，但不是信息本身。 同一信息可用不同的信号来表示。 同一信号也可表示不同的信息。 ②信息科学的有关概念 －信息与消息和信号的区别 ②信息科学的有关概念 －各种信息的概念 信息是信息论中最基本、最重要的概念，它是一个既抽象 又复杂的概念。 信息的概念是在实践中产生，以前一直被看作是消息的同 义词。 信息的概念十分广泛，不同的定义在上百种以上。 信息是事物之间的差异； 信息是事物联系的普遍形式； 信息是物质的普遍属性。 …… 数学家认为：信息是使概率分布发生改变的东西。