信息论与编码基础教程第一章.ppt

张丽英制作;;第1章绪论

;第1章绪论;;一位美国科学家在诗中这样描述：

没有物质的世界是虚无的世界，没有能源的世界是死寂的世界，没有信息的世界是混乱的世界。

可见信息的重要性。;这一成果于1948年以“通信的数学理论”（AMathematicalTheoryofCommunication）为论文题目公开发表。

这是一篇信息论开创性的权威论文，为信息论理论建立了基础。

;1951年，美国无线电工程师协会（InstituteofRadioEngineers，IRE）成立了信息论组，1955年正式出版了信息论汇刊。香农等科学家在其发表了许多重要文章。

1948年香农在论文中提出了无失真信源编码定理，给出了简单的编码方法——香农码。

1952年费诺（Fano，R.M.）和哈夫曼（Huffman，D.A.）分别提出了各自的编码方法，并证明其方法都是最佳编码法。;1959年，香农在发表的“保真度准则下离散信源编码定理”（CodingTheoremsforaDiscreteSourcewithaFidelityCriterion）一文中，系统地提出了信息率失真理论和限失真信源编码定理。这两个理论是数据压缩的数学基础，为各种信源编码的研究奠定了基础。;;1961年，香农的“双路通信信道”（Two-wayCommunicationChannels）论文开拓了多用户信息理论的研究。到20世纪70年代，有关信息论的研究，从点与点间的单用户通信推广发展到多用户系统的研究。

1972年，TCover发表了有关广播信道的研究，以后陆续进行了有关多接入信道和广播信道模型和信道容量的研究。;;目前，信息论不仅在通信、广播、电视、雷达、导航、计算机、自动控制、电子对抗等电子学领域得到了直接应用，还广泛地渗透到医学、生物学、心理学、神经生理学等自然科学，甚至语言学、美学等领域。

信息论已成为涉及范围极广的信息科学。;1、信息论研究的目的：

高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。;2.本门课主要研究的内容;;2）广义信息论;2．信息、消息、信号及其区别

1）信息

香农定义:

信息是事物运动状态或存在方式的不确定性的描述。;2）消息

定义:

用文字、符号、数据、语言、音符???图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。;3）信号

定义:

把消息换成适合信道传输的物理量（如电信号、光信号、声信号、生物信号等），这种物理量称为信号。

信号是信息的载体，是物理性的。;3．信息的可靠性、有效性、保密性、认证性;（3）保密性：

隐蔽和保护通信系统中传送的消息，使它只能被授权接收者接收，而不能被未授权接收者接收和理解；

（4）认证性：

接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造和篡改的。

;（1）信息是新知识、新内容；

（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；

（3）信息可以产生，也可以消失，同时信息也可以被携带、储存及处理；

（4）信息可以度量。;（1）按信息的性质分类：语法信息，语义信息和语用信息；

（2）按观察过程分类：实在信息，先验信息和实得信息；

（3）按信息的地位分类：客观信息（效果信息、环境信息）和主观信息（决策信息，指令、控制和目标信息）；

（4）按信息的作用分类：有用信息、无用信息和

干扰信息；;（5）按信息的逻辑意义分类：真实信息、虚假信息和不定信息；

（6）按信息的传递方向分类：前馈信息和反馈信息；

（7）按信息的生成领域分类：宇宙信息、自然信息、思维信息和社会信息；

（8）按信息的信息源性质分类：语言信息、图像信息、数据信息、计算信息和文字信息；

（9）按信息的信号形成分类：连续信息、离散信息和半连续信息。;其它分类:

按信息的应用部门、载体性质等分类。

在众多的分类原则和方法中，最重要的就是按照信息性质分类。香农信息论主要讨论的是语法信息中的概率信息。

;1.4通信系统的模型;【注意】

（1）图1-1给出的模型只适用于收发两端单向通信的情况，只有一个信源和一个信宿，信息传输也是单向的。