聊城大学物理科学与信息工程学院幻灯片.pptVIP

消息（符号）的 自信息： 后验概率：条件概率 —接收端收到消息（符号） 后而发送端发的是 的概率。 互信息：先验的不确定性减去尚存在的不确定性（收信者获得的信息量） 1832年，Morse发明电报编码； 1924年，Nyquist提出信息传输理论； 1928年，Hartly提出信息量关系； 1946年，柯切尼柯夫提出信号检测理论； 1948年，Shannon提出信息论，“通信中的数学理论 1948年，香农在《通信的数学理论》的论文中，用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。香农理论的核心是：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。 1948年发表“通信的数学理论”，标志着信息论的诞生； 1948年发表“保密通信的信息理论”，首先用信息论的观点对信息保密问题作了全面的论述； 1959年发表“保真度准则下的离散信源编码定理”-提出信息率失真理论，为信源压缩编码研究奠定理论基础； 1961年发表“双路通信信道”，开拓了多用户信息理论（网络信息论）的研究； 尚辅网 / 第一专题 什么是信息？ 第1专题 什么是信息？ 内容提要 信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。本章首先引出信息的概念，简述信息论研究的对象、目的和内容，最后，简单介绍信息论发展简史与现状。 1.1 信息的概念 信息至今无确切定义，但是它是一 种人人皆知的抽象概念，是一种不 言自明的概念。正像什么是“人”的 概念一样，不言自明，人人皆知。 信息的特点： 广泛性与抽象性 信息的特征： 1.1 信息的概念 广泛性： 客观世界充满着信息 人类离不开信息 知识、书本是有用信息的积累 抽象性： 三大要素是：物质、能量与信息。 物质是基础，是实体。 能量是物质运动的形式，E=mc2，物质可转换成能量。能量又是改造客观世界的主要动力。 1.1 信息的概念 就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 信息： 依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。 1.1 信息的概念 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。如电信号、光信号等。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象。 1.1 信息的概念 信息：信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候就是一种信息。 三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。 1.1 信息的概念 信息可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。 信号、消息则分别是抽象信息在物理层、数学层表达的外延； 同一信息，可以采用不同的信号形式来载荷； 同一信息，也可以采用不同的数学表达形式来定量描述。 同样，同一信号形式，可以表达不同形式的信息。 信号、信息和消息关系的具体理解： 1.1 信息的概念 信息的主要特征： 信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在； 信息来源于精神世界，但又不局限于精神领域； 信息与能量息息相关，但又与能量有本质的区别； 信息具有知识的本性，但又比知识的内涵更广泛； 信息可以被主体获取和利用。 1.1 信息的概念 信息的重要性质： 存在的普遍性；有序性；相对性；可度量性；可扩充性；可存储、传输与携带性；可压缩性；可替代性；可扩散性；可共享性；时效性。 信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的财富。 信源 信宿 信道 消息 干扰或噪声 （发信者） （收信者） 图1.1 通信系统框图 1.1 信息的概念 香农信息(概率信息) 信息是事物运动状态或存在方式的不确定性的描述。 在通信系统中形式上传输的是消息，但实质上传输的 是信息,消息中包含信息，消息是信息的载体 1.1 信息的概念 样本空间：某事物各种可能出现的不同状态，