PPT信息论第1章.pptVIP

1.1　信息论的形成和发展 信息论的早期酝酿（19世纪到20世纪40年代） 编码技术产生：莫尔斯码、波多码 早期通信中发现的问题 信号的频带宽度和信噪比影响信道的通信容量。 通信的数量与质量相互制约：有效性和可靠性 抗干扰码的出现。 香农熵的产生 维纳、费希尔、香农几乎同时提出信息的度量形式 1948年，香农发表论文《通信的数学理论》，奠定了现代信息论的基础 1.1　信息论的形成和发展 1.1　信息论的形成和发展 信息论的建立与发展（1948～1980S） 对香农信息理论进行严格的数学描述与论证（1948～1960S） 香农信息论的发展（1970S～1980S） 率失真理论的发展 多用户信息论（网络信息论）的发展 代数编码理论的发展 1.1　信息论的形成和发展 信息论近期发展（20世纪90年代后） 无失真编码的应用 有失真信源数据压缩编码的应用 调制解调码问题 汉字信息编码 图形码与存储介质码 1.2　信息论的研究内容 1.3　信息的基本概念 物质世界的三大支柱：物质、能量和信息 Without materials, there is nothing. 没有物质的世界是虚无的世界 Without energy, nothing happens. 没有能源的世界是死寂的世界 Without information, nothing makes sense. 没有信息的世界是混乱的世界 信息的定义 从日常生活知识来理解 有关科学家的论述 香农：信息是事物运动状态或存在方式的不确定性的描述 艾什比：把信息定义为“差异度” 维纳：把信息定义为一种“组织性”的度量 有关哲学家的论述 信息是一切物质的属性 信息就是信息，不是物质也不是能量 消息、信号和信息 　信息（Information）： 信息是消息的内涵，是信号的价值，信息是能使信宿得以获知解惑的东西。 它应当是从千千万万不同形式不同内容的消息中抽象出来的、具有共性的、可定量测度的一个量，应该有它的单位和数学表达。 消息、信号和信息 例一：扔硬币 正反面不确定 例二：天气预报 晴、多云、雨、雪、风：不确定 例三：足球比赛 胜负关系不确定 消息、信号和信息 信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体 消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它是信息的载荷体，是信息论中主要描述形式 信息是抽象的、非物理的 哲学层表达 信息的特征 信息的基本概念在于它的不确定性，任何已确定的事物都不含信息。 接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识 信息可以产生，也可以消失，同时信息可以被携带、贮存及处理 信息是可以量度的，信息量有多少的差别 信息的特征 信息的客观性 信息与载体的不可分割性 信息的价值性 信息的时效性 信息的可分享性 信息的可传递性 信息的可扩散性 信息的特征 信息的可加工性 信息的可再现性 信息的可存储性 信息的积累性 信息的延续性和继承性 信息的可开发性 信息的可再生性和可增值性 信息的性质 性质一：普遍性 信息是普遍存在的。 性质二：无限性 在整个宇宙时空中，信息是无限的。 性质三：相对性 对于同一事物，不同观察者所获得的信息量可能不同。 性质四：转移性 信息可以在时间上或空间中从一点转移到另一点。 性质五：变换性 信息是可变换的，可由不同的载体和不同的方法来载荷。 1.4　通信系统模型简介 数字通信系统模型 信源、信宿和信道 信源：发送消息的源 离散信源和连续信源 信源是信息论的主要研究对象之一，但在信息论中并不探讨信源的内结构和物理机理，而把注意力放在信源的输出上，重点讨论信源输出的描述方法及性质。 信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。 信道：传输信息的物理媒介 信源编码器与译码器 信源编码器的作用 把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组，这种代码组就是基带信号。 同时通过信源编码可以压缩信源的冗余度，以提高通信系统传输消息的效率。 信源译码器的作用 把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程。 信道编码器与译码器 信道编码器的作用 在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有检错或纠错的能力。 信道译码器的作用 具有检错或纠错的功能，它能将落在其检错或纠错范围内的错传码元检出或纠正，以提高传输消息的可靠性。 三码合一 密码学研究的内容 如何隐蔽消息中的信息内容，使它在传输过程中不被窃听，提高通信系统的安全性。 从理论方面来说，若能把三种码合并成一种码来编译