信息论第1章课件.ppt

信息论与编码;课程内容; 绪 论;*;什么是信息?;什么是信息?;信息、消息和信号;信息的特征;信息论概述;信息论研究的内容;信息论和信息技术研究什么样的问题？;*;概率空间;对xi 的不确定性可表示为先验概率p(xi)的倒数的某一函数。 自信息 互信息 后验概率p(xi | yj) 接收端收到消息yj后而发送端发的是xi 的概率;香农定义的信息 ;*;数字通信系统模型;信源、信宿和信道 ;*;信源编码器与译码器 ;信源编码器与译码器;信道编码器与译码器;密码学研究的内容;*;Claude Shannon (1916-2001);香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。后来,他就职于贝尔电话研究所,在这个世界上最大的通信公司(美国电话电报公司)的研究基地里,他受着前辈的工作的启示,其中最具代表性的是《贝尔系统??术杂志》上所披露的奈奎斯特的《影响电报速率的一些因素》和哈特莱的《信息的传输》。正是他们最早研究了通信系统的信息传输能力,第一次提出了信息量的概念,并试图用教学公式予以描述。香农则创造性地继承了他们的事业,在信息论的领域中钻研了8年之久,终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著《通信的数学理论》。次年,他又在同一杂志上发表了另一篇名著《噪声下的通信》。;在这两篇文章中,香农解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。 两篇文章成了现在信息论的奠基著作。 香农的成就轰动了世界,激起了人们对信息论的巨大热情,它向各门学科冲击,研究规模像滚雪球一样越来越大。不仅在电子学的其他领域,如计算机、自动控制等方面大显身手,而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。它已远远地突破了香农本人所研究和意料的范畴,即从香农的所谓“狭义信息论”发展到了“广义信息论”。;信息论的形成和发展;*;信息论的主要研究成果;信息论的主要研究成果;信息论的主要研究成果;信息论的主要研究成果;课程安排;数字通信系统模型