信息论基础教程.pptVIP

信息论基础教程

李亦农李梅编著

•北京邮电大学出版社

•BeijingUniversityofPostsandTelecommunicationsPress

目录

n第一章绪论

n第二章信息的度量

n第三章信源及信息熵

n第四章信道及信道容量

n第五章无失真信源编码

n第六章有噪信道编码

n第七章限失真信源编码

•BUPTPress

第一章绪论

§1.1信息的概念

1.2信息论研究的对象、目的和内容

•BUPTPress

信息论是通信的数学基础，它是随着通信技术的发展而形成和发展起来

的一门新兴的横断学科。信息论创立的标志是1948年ClaudeShannon

（香农）发表的论文“AMathematicalTheory

ofCommunication”。在这篇文章中香农创造

性的采用概率论的方法来研究通信中的问题，

并且对信息给予了科学的定量描述，第一次

提出了信息熵的概念。

1928年，哈特莱(Hartley)首先提出了

用对数度量信息的概念。一个消息所含有的

信息量用它的可能值的个数的对数来表示。

香农

12

可运用研究随机事件的数学工具——概率

香农信息:信息是事物运动状态或存在来测度不确定性的大小。在信息论中，我

方式的不确定性的描述。们把消息用随机事件表示，而发出这些消

息的信源则用随机变量来表示。

34

xi

自信息同时表示这个消息所包含的信

我们把某个消息出现的不确定性的I(x)logp(x)

息量，也就是最大能够给i予收信者的i

大小，定义为自信息，用这个消息出

信息量。如果消息能够正确传送，收

现的概率的对数的负值来表示：

信者就能