第2章：信源及其信息量1要点解读.ppt

信息论与编码 西安工业大学电子信息工程学院 第二章 信源及其信息量 本章内容 单符号离散信源及其信息度量 离散平稳无记忆信源及其信息度量 离散平稳有记忆信源及其信息度量 2.1 单符号离散信源及其信息度量 信源的描述方法 ① 离散信源：输出的消息常常是以一个个符号形式出现，这些符号的取值是有限的或可数的。 单符号离散信源：只涉及一个随机事件，可用随机变量描述。 扩展信源/多符号离散信源：每次输出是一个符号序列，序列中每一位出现哪个符号都是随机的，而且一般前后符号之间是有依赖关系的。可用随机矢量描述。 ② 连续信源：输出连续消息。可用随机过程描述。 单符号离散信源数学模型 单符号离散信源的数学模型： X — 随机变量，指的是信源整体 xi — 随机事件的某一结果或信源的某个元素 p(xi)=P(X=xi) — 随机事件 X 发生某一结果 xi 的概率。 n 是有限正整数或可数无限大 单符号离散信源的自信息量 (1)??自信息量 (2)? 联合自信息量 (3)??条件自信息量 ① 自信息量 信息量的直观定义： 收到某消息获得的信息量＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) －(收到此消息后关于某事件发生的不确定性) 不确定性与发生概率 事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。 事件发生的概率越大，我们猜测这件事发生的可能性就越大，不确定性就越小。 概率等于 1 的必然事件，就不存在不确定性。 某事件发生所含有的信息量应该是该事件发生的先验概率的函数。 不确定性与发生概率 函数 f [p(xi)] 应满足以下 4 个条件： f [p(xi)] 应是 p(xi) 的单调递减函数 当 p(x1) p(x2) 时， f [p(x1)] f [p(x2)] 当 p(xi) =1时， f [p(xi)] =0 当 p(xi) =0时， f [p(xi)] =∞ 两个独立事件的联合信息量应等于它们分别的信息量之和 ，即满足可加性：I (A B) = I (A) + I (B) 。 ① 自信息量定义 任意随机事件的自信息量定义为该事件发生概率的对数的负值。设该事件Xi的概率为p(xi)，则它的自信息量定义式为： 用概率测度定义信息量：设离散信源 X，其概率空间为： 如果知道事件 xi 已发生，则该事件所含有的自信息定义为： ② 联合自信息量 信源模型为： 其中：0≤p(xiyj)≤1 (i=1,2,…,n; j=1,2, …,m)， 则联合自信息量为： ② 联合自信息量 当 X 和 Y 相互独立时，p(xiyj)=p(xi) p(yj) 两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。 ③ 条件自信息量 设 yj 条件下，发生 xi 的条件概率为 p(xi /yj)，那么它的条件自信息量 I(xi/yj) 定义为： 同理，xi 已知时发生 yj 的条件自信息量为： 自信息量、条件自信息量和联合自信息量之间的关系 单符号离散信源的互信息量 (1)??互信息量 (2)?互信息的性质 ① 互信息量 互信息量定义： 互信息量：事件yj 的出现给出的关于事件 xi 的信息量，定义为互信息量。 最简单的通信系统模型： X—信源发出的离散消息集合 Y—信宿收到的离散消息集合 互信息量定义： 互信息量：yj 对 xi 的互信息量定义为后验概率与先验概率比值的对数。 举例 某地二月份天气构成的信源为： 收到消息 y1：“今天不是晴天” 收到 y1 后：p(x1/y1)=0， p(x2/y1)=1/2， p(x3/y1)=1/4，p(x4/y1)=1/4 举例 计算 y1 与各种天气之间的互信息量 对天气 x1，不必再考虑 对天气 x2， 对天气 x3, 对天气 x4 ， 举例 结果表明从 y1 分别得到了 x2，x3，x4 各 1 比特的信息量； 或者说 y1 使 x2，x3，x4 的不确定度各减少量 1 比特。 ② 互信息的性质 对称性 I(xi ; yj) = I(yj ; xi) 推导过程： ② 互信息的性质 相互独立时的 X 和 Y，互信息量可为0 这时：p(xi yj)=p(xi)p(yj) 互信息量为： 表明 xi 和 yj 之间不存在统计约束关系，从 yj 得不到关于的 xi 任何信息，反之亦然。 ② 互信息的性质 互信息量可为正值或负值 当后验概率大于先验概率时，互信息量为正。