第2章基本信息论.pdf

信息论与编码 第2章 基本信息论 北京大学出版社 2013-5-11 引言 第2章 基本信息论 基本信息论又称狭义信息论，是以信息的度量为基础，有了对信息的 确切定义与测度，信息科学才得以建立和发展。  案例一： 甲乙同去听某一学者讲课，由于两个人的业务基础不同，他们听到的 虽然是同一内容，但听后得到的新知识是不一样的，怎么衡量呢？就可以 用信息度量的方法。  案例二： 信源发出的消息，经过信道传送给信宿，信道能够传送或存储的最大 信息量为多少呢？可以用信道容量来分析。 2.1 信息度量 第2章 基本信息论 2.1.1 信源的不肯定性 信源是发送消息的一方，信源发出的消息常常是随机的，这样信源要发出的消息的状态