第2章节信源熵.ppt

第2章 信源熵 2.1 单符号离散信源 信息论是在信息可以量度的基础上，利用概率论和近代数理统计知识研究如何最有效、最可靠地传输和处理信息的科学。可见，信息的量度是建立信息理论的基础，是学习信息论中十分重要的环节。本章主要介绍量度信息量的方法。 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 2.1.6 各种熵之间的关系 2.1 单符号离散信源 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 从讨论信源的特征入手，给出定量度量信息的方法。 以天文学范畴的事件为例。 小行星撞击地球、月食、日食、流星雨、星系的产生与消亡等等，都是天文学内一个个离散的事件 如果将一个事件用一个符号来表示，则一个符号代表一个完整的消息 如果把都是天文学内的事件看作是天文学这个“信源”输出的符号，则这个信源可以看作是单符号离散信源。 2.1 单符号离散信源 单符号离散信源的实例 掷骰子每次只能是1,2,3,4,5,6中的某一个； 天气预报可能是晴、阴、雨、雪、风、冰雹… 中的一种或其组合以及温度、污染等； 二进制通信中传输的只是1、0两个数字；等等。 这种符号或数字都可以看作某一集合中的事件，每个符号或数字（事件）都是信源中的元素，它们的出现往往具有一定的概率。 因此，信源又可以看作是具有一定概率分布的某一符号集合 2.1 单符号离散信源 若信源的输出是随机事件X，其出现概率为P(X),，则它们所构成的集合，称为信源的概率空间或简称为信源空间。 单符号离散信源的数学模型： 显然，信源空间必定是一个完备集，即 2.1 单符号离散信源 2.1.2 自信息和信源熵 一、概率论的基本概念和性质： 随机变量 分别取值于集合 和 X发生xi和Y发生yj的件概率为p(xi)和p(yj)，它们一定满足 0 ?p(xi) ,p(yj ) ? 1以及 和 。如果考察X 和Y同时发生xi和yj的概率，则二者构成联合随机变量XY ，取值于集合{xiyj|i=1,2,…,n,j=1,2,…,m}，元素xiyj发生的 概率称为联合概率，用p(xi yj)表示。 2.1 单符号离散信源 如X发生xi以后，Y又发生yj的条件概率为p(yj /xi)，代 表xi已知的情况下，又出现yj的概率。当xi不同时，即使 发生同样的yj ，其条件概率也不同，说明xi对yj的影响。 而p(yj)则是对xi一无所知情况下， yj发生的概率，有时相 应地称为p(yj)为yj的无条件概率。同理， yj 已知的条件 下xi 的条件概率记为p(xi / yj)。相应地， p(xi)称为xi的无 条件概率。 2.1 单符号离散信源 无条件概率、条件概率、联合概率满足的性质： 2.1 单符号离散信源 从信息源获取信息的过程就是其不确定性缩减的过程。 随机事件包含的信息与其不确定性紧密相关。 在统计分析中，使用概率作为衡量不确定性的一种指标。 可以推论出：随机事件包含信息的度量应该是其概率的函数。 2.1 单符号离散信源 二、信息量 1.自信息量 一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。定义为其出现概率对数的负值。若随机事件xi的概率为p(xi)，那么它的自信息量I(xi)为： 2.1 单符号离散信源 为研究问题的方便，根据对数的底定义信息量的单位 对数的底取2，则信息量的单位为比特（bit）； 取e（自然对数），则单位为奈特（nat）； 取10（常用对数），则单位为哈特（Hart）。 利用换底公式容易求得： 1nat=log2e?1.433bit 1bit ?0.693nat 1Hart=log210?3.322bit 1bit ?0.301Hart 2.1 单符号离散信源 [例2.1.1] 　 一个1, 0等概的二进制随机序列，求任一码元的自信息量。 解：任一码元不是为0就是为1 因为 P(0) = P(1) = 1/2 所以 I (0) = I (1) = – lb (1/2) = 1(bit) 2.1 单符号离散信源 [例2.1.2] 　 对于2n进制的数字序列, 假设每一符号的出现完全随机且概率相等，求任一符号的自信息量。 解：设2n进制数字序列任一码元xi的出现概率为p (xi)，根据题意，