[]平均互信息,熵间的关系.pptVIP

  1. 1、本文档共73页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
[]平均互信息,熵间的关系

2.1.5 平均互信息量 一.平均互信息量 定义:称互信息量 在X、Y集上的联合概率的数学期望为Y对X的平均互信息: 同理X对Y的平均互信息定义为: 考虑到关系式 很容易将(2.1.43)改写为: 二、性质: 1、互易性: 2、 3、非负性: 4、极值性 5、凸函数性 2、 由(2.1.43)式 由(2.1.44)式 由(2.1.45)式 平均互信息量是p(xi)和p(yj/xi)的函数, 即I(X;Y)=f [p(xi), p(yj/xi)]; 记为: I(X;Y)=I [P, Q]; 若固定信道,调整信源,则平均互信息量I(X;Y)是p(xi)的函数, 即I(X;Y)=f [p(xi)]; 若固定信源,调整信道,则平均互信息量I(X;Y)是p(yj/xi)的函数, 即I(X;Y)=f [p (yj/xi)]。 下面定理阐明了I(X ; Y)与p(x)和p(y︱x)之间的关系。 5、数据处理不等式 如果随机变量X,Y,Z的联合概率函数可以写成:p(xkyjzi)=p(xk)p(yj/xk)p(zi/yj) 则称这三个随机变量构成马尔可夫链,记为:X→Y → Z 性质1,如果X→Y → Z则在给定Y的条件下,X和Z条件独立,即 p(xk, zi/yj)=p(xk/yj)p(zi/yj) 性质2:如果X→Y → Z则I(X;Z/Y)=0 数据处理中平均交互信息量的不增性: ? 图 串联信道 如图所示的串联信道,X是输入消息集合,Y是第一级信道输出,Z是第二级数据处理后的输出消息集合,假设X→Y→Z(Y条件下X,Z独立) ,可以证明: 例2.1.7:教材36页 如果想通过Y经可能多的获得关于X的信息,也就是想增加互信息,必须付出代价,比如采用多次测量的方法。 这就说明,从串接信道输出端Z中获取的关于输入端X的平均交互信息量I(X;Z),总不会超过从第一级信道的输出端Y中获取关于输入端X的平均交互信息量I(X;Y)。 如果第二级信道是数据处理系统,则对接收到的数据Y进行处理后,无论Z是Y的确定对应关系还是概率关系,决不会减少关于X的不确定性。 数据处理不会增加从Z中获取关于X的平均交互信息量。这就是数据处理中平均互信息量的不增性。 亦即数据处理过程中只会失掉一些信息,绝不会创造出新的信息。最多保持原来的信息,一旦失掉了信息,用任何处理手段,也不可能再恢复丢失的信息 信源熵、互信息之间的关系: 图2.3 信源熵与互信息量之间的关系图 各种熵之间的关系 作业: 1。将已知等概信源接到下图所示的信道上,求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。 三维联合集的平均互信息关系: 仅当 = = 时,等号成立, 一般情况下 [例2.1.6]设二进制对称信道的输入概率空间为, 信道转移概率如下图 0 0 1 1 q 1-q q 1-q 由信道特性决定的条件熵: 由 可求得 平均互信息量 …(1) 在式(1)中,当q不变即固定信道特性时,可得I(X;Y)随输入概率P变化的曲线,如下图所示。由图可见,二进制对称信道特性固定后,输入呈等概率分布时,平均而言在接收端可获得最大信息量。 I(X;Y) 0 1 0.5 P 1-H(q) 固定信源 ,通过调整信道 而得; 即有两个不同的信道特性 和 将信道两端的输入和输出即X和Y联系起来,如果 用小于1的正数

文档评论(0)

panguoxiang + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档