中南大学信息论与编码第一章信息绪论课件.pptxVIP

应用 信息 论 参考教材：《应用信息论》 朱雪龙 主编 Mail: Tel: 有关事项 讲课: (概念、方法、实际应用) 自学: (数学推导、定理证明) 考试：基本概念、基本计算、实际应用 平时成绩：上课情况 成绩：考试成绩+平时成绩 目的： 了解学习信息论的作用、方法与意义，对信息论的 研究方法和成果有广泛的基本认识，学会应用，为 进一步研究打下基础 特点： 以信息理论为中心，区别与“信源编码” 、“信道编码 ” 以概念和物理意义为主，数学推导尽量放到课外 结合通信系统实际应用 课程概况 引言：自香农提出信息理论以来，对通信技术的发展 产生了持久和深刻的影响，但对其它方面，则很少有 理论指导作用。正因为此，人们对更广泛意义下的信 息研究一直未停止。 1957年——最大熵原理理论(E.T.Jaynes) 1959年—— 1980年，鉴别信息及最小鉴别信息原 理理论 1965年——信息量度定义的三种办法—概率法， 组合法，计算法 1968年—— 1987年，算法信息理论 这些成果大大丰富了信息理论的概念办法、应用 应用信息理论 2信息论基础的重要性 信息论是信息科学和技术的基本理论,信息 科学大厦的地基。 没有信息论的基础，从事通信与信息领域 的研究和创新是不可能的事情;就不可能站 在本学科的边缘。(必学、选学、跳学) 总之,信息论是高层次信息技术人才必不可 少的基础知识。 3教学目标 充分理解、熟练掌握教材的内容 熟练掌握基本的信息理论概念和定理 熟练掌握通信与信息工程中基本研究对象的 数学描述 通过学习和习题练习，具备一定的解决 问题分析问题的能力 掌握一定的科学思想方法(用信息论的思 想和观点)和怎样描述 信息虽无确切定义，但是却具有两个明显的特征： 广泛性与抽象性。 广泛性 客观世界充满着信息 人类离不开信息 知识、书本是有用信息的积累 抽象性 信息是组成客观世界并促进社会发展的最基本的三大要素 之一。三大要素是：物质、能量与信息。三要素中物质是 基础，是实体。能量是物质运动的形式， E=mc2 ，物质可 转换成能量，而能量又是改造客观世界的主要动力。 1.1 什么是信息 信息：它依附于物质和能量，但又不同于物质 和能量。没有信息就不能更好地利用物质和能 量，人类利用信息和知识改造物质，创造新物 质，提高能量利用效率，发现新能量形式。信 息也是客观存在的，它是人类认识、改造客观 世界的主要动力，是人类认识客观世界的更高 层次。就狭义而言，在通信中对信息的表达分 为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最 具体的层次。它是一个物理量，是一个载荷信 息的实体，可测量、可描述、可显示。 消息： (或称为符号)是信息的数学表达层，它 虽不是一个物理量，但是可以定量地加以描述， 它是具体物理信号的进一步数学抽象，可将具 体物理信号抽象为两大类型： 离散(数字)消息，是一组未知量，可用随机序列来 描述： U=(U1 … Ul … UL) 连续(模拟)消息，也是未知量，它可用随机过程来 描述： U(t,ω) 信息来源于物质，又不是物质本身；它从物质 的运动中产生出来，又可以脱离源物质而相对 独立地存在； 信息来源于精神世界，但又不局限于精神领域； 信息与能量息息相关，但又与能量有本质的区 别； 信息具有知识的本性，但又比知识的内涵更广 泛； 信息可以被主体获取和利用。 信息的主要特征 信息的重要性质 存在的普遍性；有序性；相对性；可度 量性；可扩充性；可存储、传输与携带 性；可压缩性；可替代性；可扩散性； 可共享性；时效性。 信息在信息化程度越来越高的社会中将 起到越来越重要的作用，是比物质和能 量更为宝贵的财富。 香农信息(概率信息) 信息是事物运动状态或存在方式的不确 定性的描述。 图1.1 通信系统框图 在通信系统中形式上传输的是消息，但 实质上传输的是信息 信源 信宿 干扰或 噪声 (发信者) (收信者) 译码 编码 信号 信号 消息 消息 后验概率：条件概率 —接收端收 到消息(符号) 后而发送端发的是 的概率。 互信息：先验的不确定性减去尚存在的 不确定性(收信者获得的信息量) 自信息： =-logp(ai) 消息(符号)的 它是C.E.Shannon四十年代末期，以客观概率 信息为研究对象，从通信的信息传输问题中总 结和开拓出来的理论。主要研究的问题 ： 信源的描述，信息的定量度量、分析与计算 信道的描述，信道传输的定量度量、分析与计算。 信源、信道与通信系统之间的统计匹配，以及通信 系统的优化 —Shannon的三个编码定理。 信息论诞生五十年来，至今，仍然是指导