信息论与编码原理_第2章_信源及其信息量zj.pdf

信息论与编码原理 信息论与编码原理 （第二章） （第二章） ────────────── ────────────── 信源及其信息量 信源及其信息量 电子信息工程教研室 电子信息工程教研室 主讲教师：赵洁 主讲教师：赵洁 2011-10-24 第1页 第二章信源及其信息量 第二章信源及其信息量 本章重点：信源的统计特性和数学模型、各类信源的信息测 度—熵及其性质。 2.1 单符号离散信源 2.2 扩展信源 2.3 连续信源 2.4 离散无失真信源编码定理 2.5 小结 2011-10-24 第2页 2.1 单符号离散信源 2.1 单符号离散信源 2.1.1 离散变量的自信息量 2.1.2 信息熵 2.1.3 熵的基本性质和定理 2.1.4 互信息量 2.1.5 熵之间的关系 2011-10-24 第3页 2.1.1 离散变量的自信息量 2.1.1 离散变量的自信息量 2.1 信息度量的方法：最常用的方法是统计度量。 单 在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确 符 号 定的。 离 不确定性可以用概率论与随机过程来描述。 散 信 香农信息论的基本假说：用随机变量研究信息。 源 (1) 信源的描述方法 (2) 单符号离散信源数学模型 (3) 自信息量和条件自信息量 2011-10-24 第4页 2.1.1 离散变量的自信息量 2.1.1 离散变量的自信息量 2.1 (1) 信源的描述方法 单 符 ①离散信源：输出的消息常常是以一个个符号形式出现，这 号 离 些符号的取值是有限的或可数的。 散 信 单符号离散信源：每次只发出一个符号代表一个消息，只 源 涉及一个随机事件，可用随机变量描述。 扩展信源/多符号离散信源：每次输出是一个符号序列， 序列中每一位出现哪个符号都是随机的，而且一般前后符 号之间是有依赖关系的。可用随机矢量描述。 ②连续信源：输出连续消息。可用随机过程描述。 2011-10-24 第5页 2.1.1 离散变量的自信息量 2.1.1 离散变量的自信息量 2.1 (2) 单符号离散信源数学模型 单 符 单符号离散信源的数学模型就是离散型的概率空间： 号 离 ⎡ X x⎤ ⎧ x1 2 , xn ⎫