中南大学信息论与编码第1章信息绪论.pptVIP

应用信息论;有关事项;课程概况;第一章绪论;引言：自香农提出信息理论以来，对通信技术的发展产生了持久和深刻的影响，但对其它方面，则很少有理论指导作用。正因为此，人们对更广泛意义下的信息研究一直未停止。 1957年——最大熵原理理论（E.T.Jaynes） 1959年——1980年，鉴别信息及最小鉴别信息原 理理论 1965年——信息量度定义的三种办法—概率法，组合法，计算法 1968年——1987年，算法信息理论 这些成果大大丰富了信息理论的概念办法、应用;2信息论基础的重要性;3教学目标;4学信息论意义;1.1 什么是信息;信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 ;信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型： 离散(数字)消息，是一组未知量，可用随机序列来描述：U=(U1… Ul … UL) 连续(模拟)消息，也是未知量，它可用随机过程来描述：U(t,ω) ;信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。 理解：信息可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描述。同样，同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断与通、低与高(电平)等等。 ;信息的主要特征;信息的重要性质;香农信息(概率信息);样本空间：某事物各种可能出现的不同状态，即所有可能选择的消息的集合。 对于离散消息的集合，概率测度是对每一个可能选择的消息指定一个概率。一个样本空间和它的概率测度称为一个概率空间。表示：[X，P] 在离散情况下： 其中， 为选择符号 作为消息的概率，称为先验概率;消息（符号）的 自信息： 后验概率：条件概率 —接收端收到消息（符号） 后而发送端发的是 的概率。 互信息：先验的不确定性减去尚存在的不确定性（收信者获得的信息量）;1.2 什么是信息论;信息论的起源、发展;香农的贡献;信息论的研究范畴;基础信息论 主要研究通信系统的数学描述与定量分析，研究系统的最优状态与优化理论，即研究通信系统理论上的潜在能力与数学上的极限情况。它是以存在性研究为主体，又称它为数学信息论。 工程信息论 以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，它以构造性为主体，以工程上技术问题为主。主要包括： 信源编、译码理论及其设计构造方法 信道编、译码理论及其设计构造方法 最佳调制与解调理论与实现 最佳检测、估值与最佳接收理论与实现 最佳信息处理理论、方法与算法 ;广义信息论 核心问题是拓广，有三重含义：首先是在信息含义的拓广，以语言信息为例： 其次是在描述方法上的拓广 最后是用途上的拓广 ;2信息理论分法的应用及取得成果。;⑵图象信息压缩 图象的压缩对存/传有重大的意义 H.261 48:1 (电视会议) JPEG 24:1 (静态图象) MPEG-1 50:1 （动态图象） ;⑶文件的压缩 解决计算机的存贮量，现有20多种压缩算法，压缩内容有：源程序、目标码、论文、小说、科学数据、图书，一般压缩30%（占原文件）。无损压缩 ⑷模拟话路中数据传输速率的提高 信息论指出，宽带4KHZ，信噪比250LB，其话路信道的极限速率为25Kbit/s,所以从最初100bit/s——19.2Kbit/s几乎接近极限25Kbit/s ;⑸降低信息传输所需的功率 降低传输功率，可以降低发送设备、天线尺寸要求，意义重大（余用信息编码） 根据信息理论分析：采用低码率的信息编码可以降低传送单位比特所需的能量Eb与噪声功率谱密度N0之比，一般为6—10db ;⑹计算机网