信息论与编码 曹雪芹 Chap1.ppt

信息论与编码;课程内容;教学目标;教材;绪 论;1.1 信息的基本概念 ;什么是信息?;什么是信息?;信息论和信息技术研究什么样的问题？;信息论;信息、消息和信号;信息的特征;例：气象预报 甲 乙 ;概率空间;;香农定义的信息 ;1.2 信息论研究的对象、目的和内容;信息论研究的内容;香农信息论;数字通信系统模型;信源、信宿和信道 ;信源编码器与译码器 ;信源编码器与译码器;信道编码器与译码器;密码学研究的内容;问题：能否将三种码(信源编码、信道编码和密码) 合成一种码进行编译？ 提高有效性必须去掉信源符号中的冗余部分,此时信道误码会使接收端不能恢复原来的信息,也就是必须相应提高传送的可靠性,不然会使通信质量下降； 反之,为了可靠而采用信道编码,往往需扩大码率,也就降低了有效性。安全性也有类似情况 编成密码,有时需扩展码位,这样就降低有效性；有时也会因失真而使授权用户无法获得信息,必须重发而降低有效性,或丢失信息而降低可靠性。 ;;信息论研究的内容;信息论研究的内容;信息论研究的内容;信息论研究的内容;1.3 信息论的形成和发展;Claude Shannon (1916-2001);香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。后来,他就职于贝尔电话研究所,在这个世界上最大的通信公司(美国电话电报公司)的研究基地里,他受着前辈的工作的启示,其中最具代表性的是《贝尔系统技术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。正是他们最早研究了通信系统的信息传输能力,第一次提出了信息量的概念,并试图用教学公式予以描述。香农则创造性地继承了他们的事业,在信息论的领域中钻研了8年之久,终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著《通信的数学理论》。次年,他又在同一杂志上发表了另一篇名著《噪声下的通信》。;在这两篇文章中,香农解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。 两篇文章成了现在信息论的奠基著作。 香农的成就轰动了世界,激起了人们对信息论的巨大热情,它向各门学科冲击,研究规模像滚雪球一样越来越大。不仅在电子学的其他领域,如计算机、自动控制等方面大显身手,而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。它已远远地突破了香农本人所研究和意料的范畴,即从香农的所谓“狭义信息论”发展到了“广义信息论”。;信息论的形成和发展;1.4 目前信息论的主要研究成果 ;信息论的主要研究成果;信息论的主要研究成果;信息论的主要研究成果;信息论的主要研究成果;课程安排