信息论与编码(第1章).pptVIP

朱仁祥 考核方式 考查课(48学时)，全部为讲课学时 总评成绩=平时成绩占40 ％+测验成 绩占60％ 注意事项 1、实行请假制度 2、保持课堂纪律 3、欢迎提出反馈意见 本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。 课程概述 当今的时代是一个信息的时代，信息处理技术的不断进步极大的影响了我们的生活，使我们的生活质量得到很大提高。本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为基础理论和编码理论两部分组成 第一章 绪论 1.1 信息论的形成和发展 1.2 通信系统的模型 本章重点 信息、消息、信号的联系与区别 通信系统模型及其各部件的功能作用 1.1 信息论的形成和发展 什么叫信息？ 信息的主要特征是什么？ 什么叫消息？ 什么叫信号？ 什么叫数据？ 信息、消息、信号三者之间的联系是什么？ 一、信息的概念 但是有史以来，人们都没有对信息下过一个确切的定 义。就像对于物质和能量一样。信息虽无确切定义， 但是却具有两个明显的特征：广泛性与抽象性。 广泛性 客观世界充满着信息 人类离不开信息 知识、书本是有用信息的积累 抽象性 三大要素是：物质、能量与信息。三要素中物质是基础，是实体。能量是物质运动的形式，E=mc2，物质可转换成能量，而能量又是改造客观世界的主要动力。 信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。 就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。如电信号、光信号、生物信号等。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象。（消息是指包含有信息的语言、文字和图像等） 信息：是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候就是一种信息。信息是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。 信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在； 信息来源于精神世界，但又不局限于精神领域； 信息与能量息息相关，但又与能量有本质的区别； 信息具有知识的本性，但又比知识的内涵更广泛； 信息可以被主体获取和利用。 (P3) 接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容； 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识； 信息可以产生，也可以消失，同时信息可以被携带、贮存及处理； 信息是可以量度的，信息量有多少的差别。 信息的基本概念在于它的不确定性，任 何已经确定的事物都不含有信息。 例.如果你问你的同学“明天是星期几”，则答案中含有多少信息量？ 情况一.你不知道今天是星期几 情况二.你知道今天是星期一 3. 信息、消息和信号? 信息是事物运动状态或存在方式的不确定性的描述 消息是信息的载体，相对具体的概念，如语言，文字，数字，图像 信号是把消息变换成适合信道传输的物理量 例.收到一封E-mail:”北京成功申办2008年奥运会” 是北京申办2008年奥运会具体情况的描述(信息) 用中文:”北京成功申办2008年奥运会”来表述(消息) 中文不能直接在Internet的传输信道中传输,中文--二进制码--适合信道传输的物理量(信号),才能在信道中传输 什么叫数据？ 载有信息的可观测、可传输、可存储及可处理的信号均称为数据。 语义信息：事物运动状态及方式的具体含义，研究信息的主体含义。 语法信息：事物的状态和状态改变方式本身。研究事物运动出现的各种可能状态和这些状态之间的联系。是抽象的。（各种信息要素出现的可能性及各要素之间的相互关系）。 语用信息：事物运动状态、方式及其含义对观察者的效用，研究信息客观价值。 二、信息论的形成和发展 信息论的