《信息论》第二章课件.pdfVIP

下载本文档

16
0
约2.55万字
约 71页
2016-04-04 发布于湖北
举报
版权申诉

《信息论》第二章课件.pdf

1、本文档共71页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
8、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

第2章离散信息的度量 §2.1 自信息和互信息 ★ 自信息自信息联合自信息条件自信息 ★ 互信息互信息互信息的性质条件互信息 §2.1.1 自信息 ★ 事件集合X 中的事件 x ai 的自信息： I (a ) -logP (a ) X i X i 简记 I (x) -log p(x) 或I (a ) -log p i i 其中： p 1 0 p 1 1） i ， i i I (x)非负 对数的底数大于1 2）本书符号的约定集合X 事件x x a 的概率P (a ) i x i 联合概率P (a ,b ) XY i j 关于对数底的选取 log2 x 比特 1奈特 1.443比特 ln x 奈特 1哈特 3.32比特 log10 x 哈特 §2.1.1 自信息 ★自信息为随机变量 ★自信息的含义包含两方面：事件发生前事件发生的不确定性事件发生后事件包含的信息量例 2.1 箱中有90个红球，10个白球。现从箱中随机地取出一个球。求：（1）事件 “取出一个红球”的不确定性；（2）事件 “取出一个白球”所提供的信息量；（3）事件 “取出一个红球”与 “取出一个白球”的发生，哪个更难猜测？解：（1）设 a1 表示 “取出一个红球”的事件，则 p (a ) 0.9 1 故事件 a 的不确定性为： 1 I (a ) log 0.9 0.152 比特 1 （2）设a2 表示 “取出一个白球”的事件，则p (a ) 0.1 2 故事件 a2 所提供的信息量为： I (a ) log 0.1 3.323 比特 2 （3）因为 I (a )