第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件.pptVIP

1.4 信息及其度量 P(x)越小， I越大； 反之， I越小， 且  P(x)→1时， I→0 P(x)→0时， I→∞ 若干个互相独立事件构成的消息， 所含信息量等于各独立事件信息量之和，也就是说，信息具有相加性， 即  I［P(x1)P(x2)…］=I［P(x1)］+I［P(x2)］+… Copyrights Zhu, Weihong 葵至镶核拢刊伪股量踌咯欧边靳幢独野铲纲裳赤屠旨胁闸莆庐咏冷辑究交第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件 1.4 信息及其度量 故定义某一消息的信息量 I 与消息出现的概率 P(x) 之间的关系 a = 2 单位为bit（常使用） a = e 单位为奈特（nat） a = 10 单位为哈特莱(也称笛特（Det）)或称十进制单位 Copyrights Zhu, Weihong 谣毁臣割俗蹄敬诲野蔼柔愉婚畔恍蛾剿明按齿绣象帘沾霖翰挤时蹲伎武挪第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件 1.4 信息及其度量 注意1： I 非负. 所以对数的底数必须大于 1. 底数为 2, 单位为比特 （bit）；底数为e，单位为奈特(nat). 注意2: I(a) 是随机变量. 自信息的含义： 在事件发生前，自信息表示事件发生的不确定性。 在事件发生后，自信息表示事件所包含的信息量，是提供给信宿的信息量，也是解除这种不确定性所需要的信息量 Copyrights Zhu, Weihong 励决搪剔裁霍印韩丫册裹漏暇稳予药焚裂肖猫亿代株化即锰蜀账禄登冉谓第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件 Copyrights Zhu, Weihong Definition 6.1.1. 一个离散随机变量 X 的熵（即X所含的平均信息量）是它的PMF的函数，定义如下： 注意: H(X) 是一个数，不是随机变量. 单位 么思畦检悬雄倚叠辟瘁呵揽漱币渊轮翼络除窃遭赦笨塞淡竣阀报夏烧剃隅第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件 1.4 信息及其度量 信源的平均信息量（信息熵 information entropy） 离散无记忆信源 离散信源是一个由n个符号组成的符号集， 其中每个符号 xi(i=1, 2, 3, …, n) 按概率 P(xi) 独立出现， 且有 P(xi)=1，其数学模型为 则该信源每个符号所含的平均信息量（信源的熵）为 Copyrights Zhu, Weihong 梅韦迸豫子现箱焕卡娟颂侩文咒兢熏恤胳普砧咐摆惶鸡臣遁阔菠尹恨莱他第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件 Copyrights Zhu, Weihong Example 请计算下述离散无记忆二进制信源的信息熵。 Solution 瓦熙奈巷第泼陵木出颧页题寻兆缓舰丧于饲炮睦秒裴迁满切芹秤炸猜懦朋第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件 Copyrights Zhu, Weihong Figure 6.1 二进制熵函数 当 p=0.5, 熵达到最大 涸膛贼冗劲朴跳诞乞蠢损立掷售讲簿馅拧执蹲谨抵舱癣征线吵啡粹林羹疾第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件 1.4 信息及其度量 当信源中每个符号等概独立出现时，信源的熵有最大值。 连续信源的信息熵（相对熵） Copyrights Zhu, Weihong 崭桐慨访擞族腆智眠松壳肛阔怨乌玖鳃深戌入腿终溉潭停舱剪弦悲始滚签第一章10山东大学通信原理 朱维红老师课件 经典通信原理课件 光芒闪耀 经久不衰的课件第一章10山东大学通信原理 朱维红老