信息的度量v3.0.pptVIP

2.1 信息的度量 赵全友 计算机与通信工程系 信息论与编码 * 物理量的度量 自然科学中通常都对各种物理量做定量的描述. 例: 长度 质量 时间 ……… 米 千克 秒 * 信息的度量? 1.信息可以用什么来衡量呢? 2.信息又怎样计算呢? 3.利用信息度量能否解决生活中的问题？ 问题: 某景观灯由8个串联的灯泡x1，x2，…，x8组成，其灯泡损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？总共需要多少次测量才能获知和确定哪个灯泡已损坏？ * 信息的直观认识 事件发生的概率越小，此事件含有的信息量就越大 例 事件“中国男足2:0力克巴西男足”含有的信息量大(小概率事件发生了，事件信息量大) 例 事件“中国男足0:4惨负于巴西男足”含有的信息量小(大概率事件发生了，事件信息量小) * 信息的直观认识(续) 信息的度量(信息量)和信源所发消息的不确定性的消除的程度有关，消除了多少不确定性，信宿就获得了多少信息量 不确定性就是随机性，可以用概率论和随机过程来测度不确定性的大小；出现概率小的事件，其不确定性大，反之，不确定性小 由此可知：概率小 ? 信息量大，即信息量是概率的单调递减函数 此外，信息量还应该具有可加性 两个相互独立事件所提供的信息量应等于它们各自提供的信息量之和。 信息度量的定性分析 * 能否用表达式定量表示信息和信息量呢? * 例:设有 n种大小不同的设备﹛x1,x2,x3,….xn﹜，每种设备有m种颜色{c1,c2,c3,…..cm}，试分析在挑选一个设备时所具有的信息量。 分析:不论采用什么样的方法，结果就是挑选出一个设备。 引例 * 方法一:先按n个不同大小挑，然后从m个不同颜色挑。 方法二:直接从n种大小和m种颜色，即m*n个组合中挑出一台。 挑选设备方法 * 方法一: 设I表示信息量,f 表示信息量I与事件(某种大小xk,或某种颜色cj)发生概率的某种函数关系 I(xk)=f(p(xk)) 如每种大小挑选的概率相等,则p(xk)=1/n * I(xk)=f(1/n)同理， I(cj)=f(1/m)则 ：总的信息量= f(1/n) +f(1/m) 方法一: * 方法二： I(xkcj)=f(1/mn) 可以选择对数函数。 方法二: 怎样才能使f函数能够满足这种信息量的可加性？ 两种方法的结果应该是一样的。即： f(1/n) +f(1/m) =f(1/mn) * 1928年，信息论的先驱者之一哈特莱(Hartley)首先研究了具有Nm个组合的单个消息信源。他对这类非概率(实际是等概率)信源进行了研究，并给出了最早的信息度量公式, 定义为可能消息量的对数: I=logNm=mlogN 伟大的启示 * 香农定义：自信息量 * 自信息量的单位 自信息的单位与所用对数的底有关 以 2 为底：单位为比特(bit)，工程上常用，为书写简洁，常把底数 2 略去不写 以 e 为底：单位为奈特(nat) ，理论推导时常用 以10为底：单位为哈特(hat)或笛特(det) 各单位之间的换算关系 为强调是信源所发出的每个符号的不确定性，有时也将单位写成：bit/符号、nat /符号、det /符号 * 自信息量的性质 * 信息量与不确定之间的关系 收到某消息获得的信息量 ＝不确定性减少的量 ＝（收到此信息前关于某事件发生的不确定性） －（收到此信息后关于某事件发生的不确定性） * 课堂思考题 设有12枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？ 思考题: Which one is the counterfeit? 找到如何找出假币的具体方法，评分标准： 　　1、30分钟以内做出来：智力很高很高很高，不知道有多高。 　　2、60分钟以内做出来：智力很高。 　　3、两小时内做出来：　智力相当高。 　　4、1天或者1周内做出来：智力也很高，而且还是一个有毅力的人。 　　5、10分钟内做出来：你或者以前做过，或者多半是个马虎的人。 * 课堂思考题 设有12枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？ 解 设“在12枚同值硬币中，某一枚为假币”这事件为 ,其出现的概率为 又设“假币的重量比真币的重量是重或轻”这事件为 ,其出现的概率为 * 思考题 * 小结