第二章信息论基本概念解析.ppt

第一节 信源的描述和分类 第二节 离散信源的信息论概念 问题： 什么叫自信息量？ 什么叫不确定度？ 什么叫互信息量？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 熵的性质有哪些？ 什么叫平均互信息量？ 什么叫信源熵？如何计算离散信源熵？ （一） 自信息量 （一） 自信息量 I（信息量）＝不确定程度的减少量 d. 自信息量单位的确定 在信息论中常用的对数底是2，信息量的单位为比特（bit），用log2或lb表示；（ bit /符号） 若取自然对数，则信息量的单位为奈特（nat），用loge或ln表示；（nat/符号） 若以10为对数底，则信息量的单位为哈脱莱(Hartley)，用log10或lg表示；（hartley/符号） 若对数底为r，则信息量的单位为r进制用单位/符号。 这三个信息量单位之间的转换关系如下： 定义：随机事件的不确定度在数量上等于它的自信息量． 说明: 两者的单位相同，但含义却不相同。 具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。 几个关于自信息量的例子： （1） 一个以等概率出现的二进制码元（0，1）所包含的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit/符号 （3）具有四个取值符号的随机变量 各符号概率相等，均为1/4，各符号的自信息量： （4）英文字母中“e” 出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。 解：“e”的自信息量 I（e）= - lb0.105=3.25 （bit/符号） “c”的自信息量 I（c）= -lb0.023=5.44 （bit/符号） “o”的自信息量 I（o）= -lb 0.001＝9.97 （bit/符号） （6）同时抛掷一对质地均匀的骰子，每个骰子各面朝上的概率均为1/6，试求： (a). 事件“3和5同时发生”的自信息量？ (b). 事件“两个1同时发生”的自信息量？ (c). 事件“两个点数中至少有一个是1”的自信息量？ （7）在布袋中放入81枚硬币，它们的外形完全相同。已知有一枚硬币与其它80枚硬币重量不同，但不知这个硬币比其它硬币的重量是重还是轻。问确定随意取出的一枚硬币恰好是重量不同硬币的所需要的信息量是多少？并进一不确定它比其它硬币是重还是轻所需要的信息量是多少？ 定义： （三) 平均自信息量--熵 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意 这一随机事件的概率空间为 其中：x1表示摸出的球为红球事件，x2表示摸出的 球是白球事件 . 如果摸出的是红球，则获得的信息量是 I（x1）= -log2p（x1）= - lb0.8 =3bit 如果摸出的是白球，则获得的信息量是 I（x2）= -log2p（x2）= -lb0.2 =1bit 说明： 则平均随机摸取一次所获得的信息量为 H（X）= 1/n[np（x1）I（x1）+np（x2）I（x2）] = -[p（x1）log2p（x1）+p（x2）log2p（x2）] 因为X中各符号xi的自信息量I（xi）为非负值，p（xi）也是非负值，且0 p(xi) 1，故信源的平均自信息量H（X）也是非负量。 例：电视屏上约有 500 × 600= 3 × 105个格点，按每点有 10个不同的灰度等级考虑，则共能组成 个不同的画面。按等概率 计算，平均每个画面可提供的信息量为 比较： 例：有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32 1．3 × 104 比特／千字文 例：设信源符号