信息率和编码第一章.ppt

——主讲教师：李晓花 教材： 曹雪虹,张宗橙．信息论与编码．北京：清华大学出版社，2004 ;1.肖国镇，卿斯汉．编码理论．北京：国防工业出版社，1993 2.孙丽华，陈荣伶 ．信息论与编码．江西：科学技术出版社，2002 3.田丽华．编码理论．西安：西安电子科技大学 出版社，2003 4.张鸣瑞，邹世开．编码理论．北京：北京航天航空出版社，1990 5. 姜丹．信息论与编码．北京：中国科学技术大学出版社， 2004 6. 曹雪虹，张宗橙．信息论与编码．北京：北京邮电大学出版社， 2001 7. 傅祖芸．信息理论与编码学习辅导及精选题解．北京：电子工业出版社，2004 ;考核方式;注意事项;本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。 ;课程概述;第一章 绪论;1.1 信息论的形成和发展;一、信息的概念;但是有史以来，人们都没有对信息下过一个确切的定 义。就像对于物质和能量一样。信息虽无确切定义， 但是却具有两个明显的特征：广泛性与抽象性。 广泛性 客观世界充满着信息 人类离不开信息 知识、书本是有用信息的积累 抽象性 三大要素是：物质、能量与信息。三要素中物质是基础，是实体。能量是物质运动的形式，E=mc2，物质可转换成能量，而能量又是改造客观世界的主要动力。;信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。 就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 ;信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。如电信号、光信号、生物信号等。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象。（消息是指包含有信息的语言、文字和图像等） 信息：是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候就是一种信息。信息是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。 数据：载有信息的可观测、可传输、可存储及可处理的信号均称为数据。;接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容； 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识； 信息可以产生，也可以消失，同时信息可以被携带、贮存及处理； 信息是可以量度的，信息量有多少的差别。; 信息的基本概念在于它的不确定性，任 何已经确定的事物都不含有信息。;3. 信息、消息和信号?;语义信息：事物运动状态及方式的具体含义，研究信息的主体含义。 语法信息：事物的状态和状态改变方式本身。研究事物运动出现的各种可能状态和这些状态之间的联系。是抽象的。（各种信息要素出现的可能性及各要素之间的相互关系）。 语用信息：事物运动状态、方式及其含义对观察者的效用，研究信息客观价值。;人们对客观世界运动规律 和存在状态的认识结果;二、信息论的形成和发展;信息论的发展历史;1948年，香农在《通信的数学理论》的论文中，用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。香农理论的核心是：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。 ;提出了无失真信源编码定理、信道编码定理;无失真信源编码的方法 ;1959年，香农发表“保真度准则下的离散信源编码定理”——Coding theorems for a discrete source at the fidelity criterion;在研究信源编码的同时，另外一部分科学家从事信道编码(纠错码)的研究工作。这一工作已取得了很大的进展，并已经形成一门独立的分支——纠错码理论。1950年汉明(R．W．Hamming)发表的论文《检错码与纠错码》是开拓编码理论研究的第一篇论文。这篇论文主要考虑在大型计算机中如何纠正所出现的单个错误。 ? ;编码理论的发展;编码