- 1、本文档共73页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
[]平均互信息,熵间的关系
2.1.5 平均互信息量 一.平均互信息量 定义:称互信息量 在X、Y集上的联合概率的数学期望为Y对X的平均互信息: 同理X对Y的平均互信息定义为: 考虑到关系式 很容易将(2.1.43)改写为: 二、性质: 1、互易性: 2、 3、非负性: 4、极值性 5、凸函数性 2、 由(2.1.43)式 由(2.1.44)式 由(2.1.45)式 平均互信息量是p(xi)和p(yj/xi)的函数, 即I(X;Y)=f [p(xi), p(yj/xi)]; 记为: I(X;Y)=I [P, Q]; 若固定信道,调整信源,则平均互信息量I(X;Y)是p(xi)的函数, 即I(X;Y)=f [p(xi)]; 若固定信源,调整信道,则平均互信息量I(X;Y)是p(yj/xi)的函数, 即I(X;Y)=f [p (yj/xi)]。 下面定理阐明了I(X ; Y)与p(x)和p(y︱x)之间的关系。 5、数据处理不等式 如果随机变量X,Y,Z的联合概率函数可以写成:p(xkyjzi)=p(xk)p(yj/xk)p(zi/yj) 则称这三个随机变量构成马尔可夫链,记为:X→Y → Z 性质1,如果X→Y → Z则在给定Y的条件下,X和Z条件独立,即 p(xk, zi/yj)=p(xk/yj)p(zi/yj) 性质2:如果X→Y → Z则I(X;Z/Y)=0 数据处理中平均交互信息量的不增性: ? 图 串联信道 如图所示的串联信道,X是输入消息集合,Y是第一级信道输出,Z是第二级数据处理后的输出消息集合,假设X→Y→Z(Y条件下X,Z独立) ,可以证明: 例2.1.7:教材36页 如果想通过Y经可能多的获得关于X的信息,也就是想增加互信息,必须付出代价,比如采用多次测量的方法。 这就说明,从串接信道输出端Z中获取的关于输入端X的平均交互信息量I(X;Z),总不会超过从第一级信道的输出端Y中获取关于输入端X的平均交互信息量I(X;Y)。 如果第二级信道是数据处理系统,则对接收到的数据Y进行处理后,无论Z是Y的确定对应关系还是概率关系,决不会减少关于X的不确定性。 数据处理不会增加从Z中获取关于X的平均交互信息量。这就是数据处理中平均互信息量的不增性。 亦即数据处理过程中只会失掉一些信息,绝不会创造出新的信息。最多保持原来的信息,一旦失掉了信息,用任何处理手段,也不可能再恢复丢失的信息 信源熵、互信息之间的关系: 图2.3 信源熵与互信息量之间的关系图 各种熵之间的关系 作业: 1。将已知等概信源接到下图所示的信道上,求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。 三维联合集的平均互信息关系: 仅当 = = 时,等号成立, 一般情况下 [例2.1.6]设二进制对称信道的输入概率空间为, 信道转移概率如下图 0 0 1 1 q 1-q q 1-q 由信道特性决定的条件熵: 由 可求得 平均互信息量 …(1) 在式(1)中,当q不变即固定信道特性时,可得I(X;Y)随输入概率P变化的曲线,如下图所示。由图可见,二进制对称信道特性固定后,输入呈等概率分布时,平均而言在接收端可获得最大信息量。 I(X;Y) 0 1 0.5 P 1-H(q) 固定信源 ,通过调整信道 而得; 即有两个不同的信道特性 和 将信道两端的输入和输出即X和Y联系起来,如果 用小于1的正数
您可能关注的文档
- ppt机器学习在模式识别中的应用.ppt
- ppt随机向量.ppt
- ppt牛顿环.ppt
- presentvalueandtheopportunitycostofcapital.ppt
- pon技术在中兴各接入产品的应用.ppt
- r语言入门,向量多维数组和矩阵.ppt
- thegreatestinvention.ppt
- ppt素材库—— (有动画全面丰富).ppt
- unitwhatwouldyoudo?selfcheckandreading.ppt
- x-新品系培育.ppt
- 2022年广西壮族自治区来宾市公开招聘警务辅助人员辅警笔试必刷经典测试卷2含答案.docx
- 2024年湖北省荆门市公开招聘警务辅助人员辅警笔试摸底测试2卷含答案.docx
- 2022年河南省许昌市公开招聘警务辅助人员辅警笔试精编自考题1卷含答案.docx
- 2024年山东省东营市公开招聘警务辅助人员辅警笔试模拟自测题C卷含答案.docx
- 2021年四川省遂宁市公开招聘警务辅助人员辅警笔试专项训练卷1含答案.docx
- 2023年陕西省榆林市公开招聘警务辅助人员辅警笔试专项训练题试卷1含答案.docx
- 2023年浙江省湖州市公开招聘警务辅助人员辅警笔试经典自测卷2含答案.docx
- 2021年山东省淄博市公开招聘警务辅助人员辅警笔试必刷测试卷2含答案.docx
- 2024年山东省莱芜市公开招聘警务辅助人员辅警笔试冲刺自测题一卷含答案.docx
- 2022年安徽省蚌埠市公开招聘警务辅助人员辅警笔试经典自测卷1含答案.docx
文档评论(0)