信息论课件-2章01.pptVIP

第二章 信源及信源熵 第一节 信源的描述和分类 第一节 信源的描述和分类 第一节 信源的描述和分类 第一节 信源的描述和分类 也可以根据信源发出一个消息所用符号的多少，将离散信源分为： 发出单个符号的离散信源：信源每次只发出一个符号代表一个消息； 例：“0”代表“无”，“1”代表“有” 发出符号序列的离散信源：信源每次发出一组含二个以上符号的符号序列代表一个消息。 例：“00”，“01”，“10”，“11”分别代表“东”， “西”，“南”， “北” 第一节 信源的描述和分类 信息如何度量？ 信息和能量息息相关 能量如何度量？ 结论：信息量大小可以用消除系统不确定度来间接表示。 2.2.1 自信息量 概率越小，不确定性越？ 确定性越？ 信息量越？ 概率越大，不确定性越？ 确定性越？ 信息量越？ 概率＝1， 不确定性 ？ 确定性 ？ 信息量 ？ 2.2.1 自信息量 2.2.1 自信息量 2.2.1 自信息量 直观推导信息测度 信息量I应该是消息概率p的递降函数 2.2.1 自信息量 定义：一个随机事件的自信息量定义为其出现概率对数的负值。即: 2.2.1 自信息量 信源发出一个符号所 携带的信息量，是该符号不确定度的度量。 说明: 随机事件的不确定度在数量上等于它的自信息量。 两者的单位相同，但含义却不相同。 具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性；而自信息量是在该事件发生后给予观察者的信息量。 2.2.1 自信息量 自信息量的单位的确定 在信息论中常用的对数底是2，信息量的单位为比特（bit）； 若取自然对数，则信息量的单位为奈特（nat）； 若以10为对数底，则信息量的单位为笛特（det）。 这三个信息量单位之间的转换关系如下： 1 nat＝log2e l.433 bit， l det＝log210 3.322 bit 例题 两个消息xi，yj同时出现的联合自信息量 注意: 当xi,yj相互独立时，有P xiyj P xi P yj ，那么就有 I xiyj I xi +I yj 。 xiyj所包含的不确定度在数值上也等于它们的自信息量。 2.2.1 自信息量 定义：在事件yj出现的条件下，随机事件xi发生的条件概率为 ，则它的条件自信息量定义为条件概率对数的负值： 2.2.2 离散信源熵 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意 这一随机事件的概率空间为 其中：x1表示摸出的球为红球事件，x2表示摸出的 球是白球事件 . 如果摸出的是红球，则获得的信息量是 I（x1） -log2p（x1） - log20.8 bit 如果摸出的是白球，则获得的信息量是 I（x2） -log2p（x2） -log20.2 bit 说明： 则平均随机摸取一次所获得的信息量为 H（X） 1/n[np（x1）I（x1）+np（x2）I（x2）] -[p（x1）log2p（x1）+p（x2）log2p（x2）] 因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也是非负值，且0 p（xi）1，故信源的平均不确定度H（X）也是非负量。 平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把H（X）称为信源X的熵。熵是在平均意义上来表征信源的总体特性的，可以表征信源的平均不确定度。 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是一个确定值，一般写成H（X），X是指随机变量的整体。 当某一符号 的概率 为零时， 在熵公式中无意义，为此规定这时的 也为零。当信源X中只含一个符号 时，必定有 ，此时信源熵H（X）为零。 例2－5 设信源符号集X x1,x2,x3 ，每个符号发生的概率分别为p（x1） 1/2，p（x2）＝l／4， p（x3）＝1／4。 则信源熵为 H（X） 1/2log22+1/4log24+1/4log24 1.5 比特/符号 定义：条件熵是在联合符号集合 XY上的条件自信息量的联合概率加权统计平均值。条件熵H X/Y 表示给定接收符号集Y观察发送符号集X的不确定度。 在给定yj条件下，xi的条件自信息量为I xi/yj ，X 集合的条件熵 H（X/yj） 在给定Y（即各个yj）条件下，X集合的条件熵H X/Y 定义为 H（X/Y） 同上，给定X条件下，Y集合的条件熵 H Y/X 联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在下列关系 H（XY）＝H（X）＋H