信息论与编码 作者 张莲 周登义 余成波 2.pptVIP

第二章 信息的量度 主要内容： 一、自信息量 二、平均自信息量（熵）及性质 教学要求: 一、了解信息论的基本内容 二、会自信息量、互信息量、平均自信息量的计算 引言 有效性和可靠性是通信系统中研究的中心问题，信息论是在信息可度量基础上，研究有效地和可靠地传递信息的科学。因此，概率论、随机过程是信息论研究的基础和工具。 一、自信息量 1、信息量与不确定性： 信息是事物运动状态或存在方式的不确定性的描述。那么,根据香农信息的定义，信息该如何度量呢？ 当人们收到一封E_Mail，或看了电视，到底得到多少信息量呢？显然，信息量与不确定性消除的程度有关。消除多少不确定性，就获得多少信息量。那么，不确定性的大小能度量吗？ 用数学的语言来讲，不确定性就是随机性，具有不确定性的事件就是随机事件。因此，可以应用研究随机事件的数学工具 —— 概率论来度量不确定性的大小。简单地说，不确定性的大小可以直观地看成是猜测某随机事件是否发生的难易程度。 2、不确定性的大小能够度量，信息也可以度量： 例如：设有甲、乙两个布袋内各装有100个球。甲袋内红、白球各50个，乙袋内有红、白、蓝、黄四种球，各25个。现随意从甲袋或乙袋中摸出一球，并猜测“从甲袋中摸出的是红球”和“从乙袋中摸出的是红球”的不确定性哪一个大？ 由此可见，某一事物状态的不确定性的大小，与该