- 1、本文档共64页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
曹雪虹、张宗橙,《信息论与编码》,北京邮电大学出版社ITD第二章1
第二章 信源及信源熵 第一节 信源的描述和分类 本章重点 离散/连续信源熵和互信息 第一节 信源的描述和分类 第一节 信源的描述和分类 第一节 信源的描述和分类 第一节 信源的描述和分类 第一节 信源的描述和分类 第一节 信源的描述和分类 第二节 离散信源熵和互信息 问题: 什么叫不确定度? 什么叫自信息量? 什么叫平均不确定度? 什么叫信源熵? 什么叫平均自信息量? 什么叫条件熵? 什么叫联合熵? 联合熵、条件熵和熵的关系是什么? 第二节 离散信源熵和互信息 什么叫后验概率? 什么叫互信息量? 什么叫平均互信息量? 什么叫疑义度? 什么叫噪声熵(或散布度)? 数据处理定理是如何描述的? 熵的性质有哪些? 2.2.1 自信息量 定义:一个随机事件的自信息量定义为其出现概率对数的负值。即: 2.2.1 自信息量 自信息量的单位的确定 在信息论中常用的对数底是2,信息量的单位为比特(bit); 若取自然对数,则信息量的单位为奈特(nat); 若以10为对数底,则信息量的单位为笛特(det)。 这三个信息量单位之间的转换关系如下: 1 nat=log2e l.433 bit, l det=log210 3.322 bit 几个例子 一个以等概率出现的二进制码元(0,1)所包含的自信息量为: I(0)= I(1)= - log2 (1/2)=log22=1 bit 2.2.1 自信息量 定义:随机事件的不确定度在数量上等于它的自信息量. 说明: 两者的单位相同,但含义却不相同。 具有某种概率分布的随机事件不管发生与否,都存在不确定度,不确定度表征了该事件的特性,而自信息量是在该事件发生后给予观察者的信息量。 2.2.1 自信息量 两个消息xi,yj同时出现的联合自信息量 注意: 当xi,yj相互独立时,有P(xiyj)=P(xi)P(yj),那么就有 I(xiyj)=I(xi)+I(yj)。 xiyj所包含的不确定度在数值上也等于它们的自信息量。 2.2.1 自信息量 定义:在事件yj出现的条件下,随机事件xi发生的条件概率为 ,则它的条件自信息量定义为条件概率对数的负值: 例2-2-1 英文字母中“e” 出现的概率为0.105,“c”出现的概率为0.023,“o”出现的概率为0.001。分别计算它们的自信息量。 解:“e”的自信息量 I(e)= - log2 0.105=3.25 bit “c”的自信息量 I(c)= -log2 0.023=5.44 bit “o”的自信息量 I(o)= -log2 0.001=9.97 bit 2.2.2 离散信源熵 一个布袋内放100个球,其中80个球是红色的,20个球是白色的,若随机摸取一个球,猜测其颜色,求平均摸取一次所能获得的自信息量。 解: 依据题意 这一随机事件的概率空间为 其中:x1表示摸出的球为红球事件,x2表示摸出的 球是白球事件 . 如果摸出的是红球,则获得的信息量是 I(x1)= -log2p(x1)= - log20.8 bit 如果摸出的是白球,则获得的信息量是 I(x2)= -log2p(x2)= -log20.2 bit 说明: 则平均随机摸取一次所获得的信息量为 H(X)= 1/n[np(x1)I(x1)+np(x2)I(x2)] = -[p(x1)log2p(x1)+p(x2)log2p(x2)] 因为X中各符号xi的不确定度I(xi)为非负值,p(xi)也是非负值,且0 p(xi)1,故信源的平均不确定度H(X)也是非负量。 平均不确定度H(X)的定义公式与热力学中熵的表示形式相同,所以又把H(X)称为信源X的熵。熵是在平均意义上来表征信源的总体特性的,可以表征信源的平均不确定度。 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,必有信源的熵值;这熵值是在总体平均上才有意义,因而是一个确定值,一般写成H(X),X是指随机变量的整体(包括概率分布)。 信息量则只有当信源输出符号而被接收者收到后,才有意义,这就是给予接收者的信息度量,这值本身也可以是随机量,也可以与接收者的情况有关。 当某一符号 的概率 为零时, 在熵公式中无意义,为此规定这时的 也为零。当信源X中只含一个符号 时,必定有
文档评论(0)