01 绪论-V04.pptVIP

第1章 绪论 王宏 电话: 135.8174.5024 办公室: 信息楼1223 Email: wanghong_ustb@ 我来问，你来答 什么是信息论？ 信息论是研究什么的？ 为什么要学信息论？ 教材及参考书 教材 李亦农、李梅，信息论基础教程，北京邮电大学出版社 参考书 1. 傅祖芸，信息论—基础理论与应用，电子工业出版社 2. 方军，信息论与编码，电子工业出版社 3. 吴伯修，信息论与编码，东南大学出版社 4. 姜丹，信息论与编码，中国科学技术大学出版社 5. 吴伟陵，信息处理与编码，人民邮电出版社 第1章 绪论 * * 学会提问：善于发现问题、提出问题、解决问题。 （一）什么是信息论？ 什么是信息？消息？信号？ /wiki/信息 金山词霸2003版中的定义 信息：信息是指各个事物运动的状态及状态变化的方式。 消息：消息是指包含有信息的语言、文字和图像等． 信号：信号是信息的载荷子或载体，是物理性的。如电信号、光信号等。 什么是信息论？ （二）信息论研究什么？ 信息论的研究对象 是广义的通信系统，它把所有的信息流通系统都抽象成一个统一的模型，如图1.1所示。 通信系统主要分为5个部分：信源、编码器、信道、译码器、信宿 下图是目前较常用的、也是较完整的通信系统模型． 信息论涉及的方面 1.通信系统最根本、最本质的问题（P5） 2.信息论的主要应用（P5） 3.研究范围：狭义信息论（香农信息论）、一般信息论、广义信息论（P6） 信息处理的环节：获取、传输、交换、处理、检测、识别、存储、显示、分类、检索、查询，等等 （三）为什么要学信息论？ 信息论的研究内容不仅仅包括通信，而且包括所有与信息有关的自然和社会领域，如模式识别、机器翻译、心理学、遗传学、神经心理学、语言学、语义学甚至包括社会学中有关信息的问题。香农信息论迅速发展成为涉及范围极广的广义信息论－－信息科学。 必修课，躲不过去的！！ 当代文明的三大支柱 信息科学、材料科学和能源科学一起被称为当代文明的“三大支柱”。是科学历史上三个最重要的基本概念。 课程的重要性 没有物质的世界是虚无的世界； 没有能源的世界是死寂的世界； 没有信息的世界是混乱的世界。 人们很早就知道用秤或者天平计量物质的质量大小。然而，我们关于热、燃料、功与能的计量问题，迟至19世纪中叶，随着热功当量的明确和能量守恒定律的建立才逐渐清楚。能量一词就是它们的总称，而能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。 然而，关于文字、数字、图画、声音的知识已有几千年历史了。但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如何去解决了。20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被隐约地提上日程。 在20世纪中叶，人类对三个非常重要的概念：质量、能量、信息量都有了定量的计量办法。我们应该牢记： 为阐明质量概念做出伟大贡献的是发现物体力学定律的牛顿(Sir Isaac Newton，1642-1727)； 为阐明能量概念作出伟大贡献的是热力学第一定律的发现者们：迈耳(Julius Robert von Mayer，1814-1878)、焦耳(James Prescott Joule，1818-1899)、赫尔姆霍兹(Hermann von Helmholtz，1821-1894)、开尔文(Lord Kelvin，1824-1907)： 为阐明信息概念作出伟大贡献的就是香农。 信息学科的三论 信息论 系统论 控制论 这三论分别是什么时候，由谁先提出来的？ 信息论基础的重要性 信息论是信息科学和技术的基本理论 ，信息科学大厦的地基; 没有信息论的基础，从事通信与信息领域的研 究和创新是不可能的事情; 总之，信息论是高层次信息技术人才必不可少的基础知识。 信息的直观认识 第一个重要概念：信道上传送的是随机变量的值。注意： 这就是说，我们在收到消息之前，并不知道消息的内容。否则消息是没有必要发送的。 消息随机变量有一个概率分布。 消息随机变量的一个可能取值就称为一个事件。 第二个重要概念：事件发生的概率越小，此事件含有的信息量就越大。（不太可能发生的事件竟然发生了，令人震惊） 信息的直观认识 信息的直观认识 第三个重要概念：消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。 信息的直观认识 第四个重要概念：两个消息随机变量的相互依赖性越大，它们的互信息量就越大（这里指的是绝对值大）。 信息的5条主要特征 信息来源于物质，又不是物质本身；它从物质的运动中产生出来又可以脱离物质而相对独立地存在。 信息来源于精神世界，但又不局限于精神领域。 信息与能量息息相关，