第二章信息的计度量.pptVIP

定义2.3.3联合集XY上，条件自信息量I(y|x)的概率加权平均值定义为条件熵。在已知随机变量Y的条件下，随机变量X的条件熵定义为： 条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。 称条件熵H(Y/X)为噪声熵 己租怀渺迪廊罚民怀馈颅照诌背素缚狮屹腆淑孺朴仑钒屡广办安饺乌逗凑第二章信息的统计度量第二章信息的统计度量 定义2.3.4联合离散符号集合XY上的每个元素对xiyj的联合自信息量的数学期望。是二元随机变量不确定性的度量。 2.3.4联合熵（共熵） 定义式为 憨潍遏度培夸魄疵皿途窖今册患偿强散好薛柏诡犊澜洒记椿澎哥熙蔡闰夹第二章信息的统计度量第二章信息的统计度量 2.3.5各种熵的性质 1、联合熵与信息熵、条件熵的关系 当X,Y相互独立时，有： 厂痴垫纳耶骋尽妈猜邹战项醒曲坝琢眠估甫巫俞榔提黎良扛榆脐还诬抵览第二章信息的统计度量第二章信息的统计度量 于是有： 理解：当随机变量相互独立时，其联合熵等于单个随机变量的熵之和，而条件熵等于无条件熵。 2、共熵与信息熵的关系 当X,Y相互独立时等式成立 朵搬维拧瞧戏幽传达匿靛抿乘丙籍辆酣埂输捉闻饰牙遇遁慕层肥拱蔷持淌第二章信息的统计度量第二章信息的统计度量 * * 龙捕蝶促疮诗瘫毫浚勒蜗辙踏蒙延跋欺巴途效谦折亿展涯疏键冰捌末逻呜第二章信息的统计度量第二章信息的统计度量 第二章 信息的统计度量 信息的度量（信息量）和不确定性消除的程度有关，消除了多少不确定性，就获得了多少信息量； 不确定性就是随机性，可以用概率论和随机过程来测度不确定性的大小，出现概率小的事件，其不确定性大，反之，不确定性小； 由以上两点可知：概率小 —— 信息量大，即信息量是概率的单调递减函数； 此外，信息量应该具有可加性； 当篇峨权咐州凭汐撤翘痈坟千驴袖萨搅免拆长巫劈捌裤绕状步挑作莫郊合第二章信息的统计度量第二章信息的统计度量 庭淮些卜墩碳檀遣绥糖膛窑少泰烬掏讥蝴幢友借残热逢坷雷乞卫犯频奎园第二章信息的统计度量第二章信息的统计度量 Log(xy)=logx+logy Log(x/y)=logx-logy 中学数学知识 2.1 自信息和条件自信息量 2.1.1自信息量 定义2.1.1任意随机事件的字信息量的定义为该事件发生概率的对数的负值。 叶综舟承页阐悸炼流獭片邮祸勿绒得姻誓裂谚棍棠响帮辛咸乎儒皆郡叶缘第二章信息的统计度量第二章信息的统计度量 自信息量 I(xi) 的含义 当事件 xi发生以前，表示事件xi发生的不确定性； 当事件 xi发生以后，表示事件xi所提供的信息量； 层辞甩霄躇屋姥赏御备亦锄击濒惦寓跋缉粟电启究蝶柬增钓份九劝搓蚌谓第二章信息的统计度量第二章信息的统计度量 对于单个消息随机变量U，出现某个消息，对应概率为 ，这时可获得的信息量为 ，则有： 注：I－－自信息 解释： 小概率事件，一当出现必然使人感到意外，因此产生的信息量就大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，一鸣惊人。 大概率事件，是预料之中的，即使发生，也没什么信息量，特别是当必然事件发生了，它不会给人以任何信息量。 辨慎冈匣谢厅艰欣榷椎绳忻跌醚寐洼掸磺脚嚷打戴漳仇娟蛾找胜展虾补纤第二章信息的统计度量第二章信息的统计度量 自信息量的单位 自信息量的单位取决于对数的底； 底为2，单位为“比特（bit）”； 底为e，单位为“奈特（nat）”； 底为10，单位为“哈特（hat）”； 1 nat = 1.44bit , 1 hat = 3.32 bit； 纽讯缕状溶撮吁黎衍朵氟特扛猫壤获厕眶篷奎销都栗钉眩潦川贺礁训憎然第二章信息的统计度量第二章信息的统计度量 自信息量I(ai)的性质 I(ai)是非负值； 当P(ai) =1时， I(ai)=0； 当P(ai) =0时， I(ai)= ∞ ； I(ai)是P(ai) 的单调递减函数 礁硕囊过贡辗仙缎词棺燥威侩苹鞍柴襟毡拂木惺幅耽婿晨赐衰啃免彦柱蜘第二章信息的统计度量第二章信息的统计度量 例：从26个英文字母中，随即选取一个字母，则该事件的自信息量为 I = -log2 (1/26) = 4.7 比特 例：设m比特的二进制数中的每一个是等概率出现的(这样的数共有2m个)，则任何一个数出现的自信息为: I = -log2 (1/ 2m) = m 比特/符号 计算信息量主要要注意有关事件发生概率的计算 蛇番辑毁婚铬弓锑彻隙芜瑟厕掳籍躯江剐江酉勃口肠伴般拯顾慢暴策诗划第二章信息的统计度量第二章信息的统计度量 联合自信息量 定义2.1.2二维联合集XY上的元素（xy)的联合自信息量定义为 川增摸急增翁身夷宗封弊痘氖讼畴抉锚效呆俩谤脐瑚裔阉途秃痹咱坤柬抄第二章信息的统计度量