网站大量收购独家精品文档,联系QQ:2885784924

離散信源.pptVIP

  1. 1、本文档共59页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
離散信源

§2 离散信源 信源的数学模型及分类 信息熵 联合熵与条件熵 §2.1 离散信源的信息熵 §2.1 离散信源的信息熵 §2.1 离散信源的信息熵 §2.1 离散信源的信息熵 设离散信源X,其概率空间为: 例4.一组信源: §2 离散信源 信源的数学模型及分类 信息熵 联合熵与条件熵 定义2-2:联合集XY上,联合自信息的平均值定义为联合熵,即: 例6: N次扩展信源的数学模型: 定义2-3:联合集XY上,条件自信息的平均值定义为条件熵,即: 例7: 设箱中有100个球,其中40个黑球,60个白球。做从箱中取球且不放回试验,连续进行两次,试求猜中第二个球颜色的难度。 离散二维平稳信源 习题: 设(X,Y)服从如下联合分布,试求 H(X),H(Y),H(X|Y),H(Y|X),H(XY)。 思考题1: 设X是取值有限的随机变量,如果: §2.1 离散信源的信息熵 §2.2 熵的基本性质 §2.3 信源的相关性与剩余度 §2. 2 熵的基本性质 §2. 2 熵的基本性质 例:分别计算下列信源熵: §2. 2 熵的基本性质 2. 对于离散无记忆信源X的N次扩展信源XN,其信息熵为X信源熵的N倍,即: 1. 试证明(强可加性): 证明(极值性): 例: 设二元信源X为 §2 离散信源 §2.1 离散信源的信息熵 §2.2 熵的基本性质 §2.3 信源的相关性与剩余度 5. 熵的链式法则 §2. 2 熵的基本性质 若X和Y统计独立,则 熵的 强可加性 熵的 可加性 进一步推广之,N维联合信源熵的链式法则为 5. 熵的链式法则 §2. 2 熵的基本性质 习题: §2. 2 熵的基本性质 当且仅当P1=P2=···=Pq=1/q时,信源具有最大熵。 §2. 2 熵的基本性质 6. 极值性 §2. 2 熵的基本性质 引理:若x0,则: lnx≤x-1(即log2x≤(x-1)loge), (当且仅当x=1时成立) 证明: 当且仅当 1/piq=1即pi=1/q时等式成立。 当且仅当P1=P2=···=Pq=1/q时,信源具有最大熵。 信源中各事件出现概率趋于均匀时,信源的平均不确定性最大。 (数据压缩的理论依据之一) §2. 2 熵的基本性质 6. 极值性 则有 熵是随机变量X概率分布的上凸函数; p=0或1时,H(p)=0; p=0.5时,H(p)达到最大 1( bit/sig)。 §2. 2 熵的基本性质 练习: §2. 2 熵的基本性质 比较概率分布 的熵与概率分布 的熵的大小? 知道统计相关的变量,则可以减少不确定性; 统计平均意义上条件减少不确定性,但是针对具体的Y取值则不一定。 §2. 2 熵的基本性质 7. 熵的独立界 定理2.1:条件熵不大于无条件熵,即 当且仅当X与Y相互独立时等号成立。 对于平稳序列,条件熵 随N的增加是非递增的,即: 定理2.2:设 服从P(x1,x2,…,xN),则 当且仅当 相互独立时取等号。 (证明提示:联系链式法则) §2. 2 熵的基本性质 7. 熵的独立界 3/4 0 1 0 1 2 1/4 1/2 1/2 X Y PX(0)=2/3, PX(1) = 1/3 H(X)=? H(X|Y=0) = ? H(X|Y=2) = ? H(X|Y) = ? H(X) = H(2/3,1/3)=0.9183 (bit/sig) H(X|Y=0) = 0 H(X|Y=1) = 0 H(X|Y) = 1/3 (bit/sig) H(X|Y=2) = H(1/2,1/2)=1 (bit/sig) 练习: §2. 2 熵的基本性质 H(Y)=? H(Y)=H(1/2,1/3,1/6)=1.46 (bit/sig) 对称性 确定性 非负性 极值性 上凸性 链式法则 扩展性 条件熵不增 独立界 §2. 2 熵的基本性质 扩展信源: 平稳信源: §2. 3 信源的相关性和剩余度 §2. 3 信源的相关性和剩余度 定义: 设某q元信源的极限熵 (实际熵),则定义: 为信源剩余度。 H∞≤ …≤ H (XN|X1,…XN-1)≤ …≤H(X2|X1)≤H(X1) ≤H0=log q 信源实际熵H∞与理想熵H0相差越大,信源的剩余度就越大,信源的效率也越低。 例1 英文源: H0=log27=4.76 (bit/sig) IN NO TH HE ER AN RE ED ON ES ST EN AT TO NT HA ND OU EA NG AS… THE ING AND HER

文档评论(0)

1234554321 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档