1.5节信息及其度量.pdfVIP

南京邮电大学

通信原理慕课

信息及其度量：10分钟

信息(Information)(即信息量）和消息(Message)的区

别

信息与消息相似，但比消息更具有普遍性。消息是指

某个事件（event)发生了，消息中有效的内容是信息量。

•信息和消息，这个定义是个解释性的，有缺陷，不完备。

•一个扯皮的例子：曾经听过同学评论，这个老师讲课信息

量大，那个老师没有信息，全是废话。到底信息是多是少，

必须科学的定义。

•信息必须量化才能上升为科学。引用恩格斯语。“一门学

科只有当它用数学表示的时候，才能被最后称为科学。”

•美国科学家香农(Shannon)的在1948年发表的论文奠定了

信息论的基础。

•Shannon题为“通信的数学理论”的学术论文，这篇划时

代论文的问世，宣告了信息论的诞生。被称为现代信息理

论的鼻祖。

事件、消息和信息量的关系

•人们早就发现，一个事件的信息量与发生该时间

的概率成反比，即，有I~1/P。下面举几个例子：

•例1：结婚的大学生信息量大。设想我们叫来一个

同学，告诉他班上有一个同学年龄是20岁，他可

能要生气了，这种事情没有信息量，同学都是20

左右的人。而我曾经…

•例2：西方媒体的追求—大信息量。一个有趣的观

察：人咬狗，狗咬人，哪个信息量大？

•为了信息量的可加，才取对数：因为概率是乘性

的，取对数后变为加性。

香农创立信息论（1948年）

不但研究了信息论，而且研究了信道容量。

人们早就发现了一个事实：消息中所含有的信息量(用

算子I来表示)与该消息出现的概率(用P(x)来表示)有密切

的关系：

IIPx



1.信息量与该消息出现的概率P(x)成反比关系。

2.信息量必须可加可减，如图普通的量一样。

例如：我们买一斤糖，可以先买三斤，在减去一斤，等

于一斤。

3.但是概率的运算是乘和除的运算，学过概率和排列组

合的同学都明白这一点。所以我们必须化乘与除为加与减

的运算。

多个互相独立事件所构成的消息所含的信息

量等于各独立事件所含的信息量的和，即

IPXPXIPXIPX



1212

对数函数可以满足这些要求，即

Ilog1PXlogPX

aa

顺利地化乘除为加减运算。

信息量的单位

Ilog1PXlogPX

aa

它取决于对数底a的确定。如果a=2，则信息

量的单位为比特(bit)；如果a=e，则信息量的单

位为奈特(nat)；若a=10,则信息量的单位称为十

进制单位或叫哈特莱。

通信中最广泛使用的单位是bit。

1）解释这个原因？

原因在于数字通信的本质都是二进制的，计算机的存贮器、包括文件都是二

进制的。这正如计算机本质上只认识0和1两个数，可以说是目不识丁。但是通过

编码就能反映大千世界。

多进制只是手段。为了达到提高频带利用率的目的或其它目的。

2）解释英语中的比特(bit)和位(bit)为什么是一个词？

在中