信息论与编码原理第2章信源及其信息量.ppt

第二章 信源及其信息量 本章重点：信源的统计特性和数学模型、各类信源的信息测度—熵及其性质。 2.1 单符号离散信源 2.2 扩展信源 2.3 连续信源 2.4 离散无失真信源编码定理 2.5 小结 2.1 单符号离散信源 2.1.1 离散变量的自信息量 2.1.2 信息熵 2.1.3 熵的基本性质和定理 2.1.4 互信息量 2.1.5 熵之间的关系 2.1.1 离散变量的自信息量 信息度量的方法：最常用的方法是统计度量。 在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的。 不确定性可以用概率论与随机过程来描述。 香农信息论的基本假说：用随机变量研究信息。 (1) 信源的描述方法 (2) 单符号离散信源数学模型 (3) 自信息量和条件自信息量 2.1.1 离散变量的自信息量 (1) 信源的描述方法 ① 离散信源：输出的消息常常是以一个个符号形式出现，这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 扩展信源/多符号离散信源：每次输出是一个符号序列，序列中每一位出现哪个符号都是随机的，而且一般前后符号之间是有依赖关系的。可用随机矢量描述。 ② 连续信源：输出连续消息。可用随机过程描述。 2.1.1 离散变量的自信息量 (2) 单符号离散信源数学模型 单符号离散信源的数学模型就是离散型的概率空间： X — 随机变量，指的是信源整体 xi — 随机事件的某一结果或信源的某个元素 p(xi)=P(X=xi) — 随机事件 X 发生某一结果 xi 的概率。 n 是有限正整数或可数无限大 2.1.1 离散变量的自信息量 (3) 自信息量 ① 自信息量 ② 联合自信息量 ③ 条件自信息量 2.1.1 离散变量的自信息量 (3) 自信息量 ① 自信息量 信息量与不确定性 信源中某一消息发生的不确定性越大，一旦它发生，并为收信者收到后，消除的不确定性就越大，获得的信息也就越大。 由于种种原因（例如噪声太大），收信者接收到受干扰的消息后，对某信息发生的不确定性依然存在或者一点也未消除时，则收信者获得较少的信息或者说一点也没有获得信息。 2.1.1 离散变量的自信息量 (3) 自信息量 ① 自信息量 信息量与不确定性 信息量的直观定义： 收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性) 2.1.1 离散变量的自信息量 (3) 自信息量 ① 自信息量 信息量与不确定性 信息量的直观定义： 在无噪声时，通过信道的传输，可以完全不失真地收到所发的消息，收到此消息后关于某事件发生的不确定性完全消除，此项为零。因此： 收到某消息获得的信息量 ＝收到此消息前关于某事件发生的不确定性 ＝信源输出的某消息中所含有的信息量 2.1.1 离散变量的自信息量 (3) 自信息量 ① 自信息量 不确定性与发生概率 事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。 事件发生的概率越大，我们猜测这件事发生的可能性就越大，不确定性就越小。 概率等于 1 的必然事件，就不存在不确定性。 某事件发生所含有的信息量应该是该事件发生的先验概率的函数。 2.1.1 离散变量的自信息量 (3) 自信息量 ① 自信息量 不确定性与发生概率 函数 f [p(xi)] 应满足以下 4 个条件： f [p(xi)] 应是 p(xi) 的单调递减函数 当 p(x1) p(x2) 时， f [p(x1)] f [p(x2)] 当 p(xi) =1时， f [p(xi)] =0 当 p(xi) =0时， f [p(xi)] =∞ 两个独立事件的联合信息量应等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。 2.1.1 离散变量的自信息量 (3) 自信息量 ① 自信息量 不确定性与发生概率 根据上述条件可以从数学上证明这种函数形式是对数形式。 2.1.1 离散变量的自信息量 (3) 自信息量 ① 自信息量 不确定性与发生概率 用概率测度定义信息量：设离散信源 X，其概率空间为： 如果知道事件 xi 已发生，则该事件所含有的自信息定义为： X，Y，Z 代表随机变量，指的是信源整体； xi , yj , zk 代表随机事件的某一结果或信源的某个元素。不可混淆! 概率复习 概率复习 2.1.1 离散变量的自信息量 (3) 自信息量 ① 自信息量 自信息含义