- 1、本文档共64页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
现代通信原理;2.7信息的度量;2.7.1消息的统计特性;假设离散信源为包含N种符号x1,x2,…,xN的集合,每个符号出现的概率分别为P(x1),P(x2),…,p(XN),那么可以用概率场来描述信源。;表2-1英文字母的出现概率;表2-2汉字电报中数字代码的出现概率;通常,只考虑前一个符号对后一个符号的影响,用转移概率矩阵来描述。;2.7.2离散信源的信息量;基于这一考虑,哈特首先提出采用消息出现概率的对数(以2为底)来作为离散消息的度量单位,称为信息量,用I(xi)表示:;例2-1
例2-2
以上是单一符号出现的信息量。对于由一串符号构成的消息,如果各符号的出现相互独立,整个消息的信息量I;当存在两个信源X和Y时,它们所出现的符号分别为xi和yj,则定义这两个信源的联合信息量为I(xiyj);在数字通信系统中,信源发送的离散符号集合可以看成是X,信宿接收的离散符号集合可以看成是Y,通常X的概率场是已知的,称为先验概率,记为P(xi)。
当接收端每收到Y中的一个符号yj以后,接收者要重新估计发送端各符号xi的出现概率分布,这个概率分布称为条件概率或后验概率,用P(xi/yj)表示。;互信息量:后验概率与先验概率之比的对数。;1、若xi与yj之间统计独立,即出现yj与出现xi无关。P(xi/yj)=P(xi),I(xi,yj)=0,互信息量为0。
2、若出现xi就一定要出现yj。P(xi/yj)=1,I(xi,yj)=I(xi),互信息量等于信源信息量。
例2-4;2.7.3离散信源的平均信息量(熵);一消息由0、1、2、3四种符号组成,各符号出现概率分别为3/8,1/4,1/4和1/8。消息总长57个符号,其中0出现23次,1出现14次,2出现13次,3出现7次。用上述二种方法求该消息的信息量。
;解法一:;如果消息中各符号出现统计相关,则式(2-7)不再适用,必须用条件概率来计算平均信息量,此时引入条件熵的概念:;例2-6某离散信源由A、B、C三种符号组成。相邻两符号出现统计相关,其转移概率矩阵;H(xj/xi)=-
=-P(A)[P(A/A)logp(A/A)+P(B/A)logP(B/A)+P(C/A)logp(C/A)
-P(B)[P(A/B)logp(A/B)+P(B/B)logP(B/B)+P(C/B)logp(C/B)
-P(C)[P(A/C)logp(A/C)+P(B/C)logP(B/C)+P(C/C)logp(C/C)
=0.872(bit/符号);通信中要寻求解决的问题;当离散信源中每个符号等概出现,而且各符号的出现为统计独立时,该信源的平均信息量最大。此时最大熵;若二元离散信源的统计特性为;图2-1熵与概率的关系;
对于三元离散信源,当概率P1=P2=P3=1/3时信源最大熵H(X)max=1.585(bit),此结论可以推广到N元离散信源。
减小或消除符号间的关联,并使各符号的出现趋于等概,将使离散信源达到最大熵,从而以最少的符号传输最大的信息量。这就是离散信源编码的目的。
;对于两个离散信源X和Y的情况,X中xi和Y中yi同时出现的平均信息量称为联合熵或共熵,定义为;两个离散信源X和Y,X中出现xI的条件下Y中出现yi的平均信息量称为条件熵,定义为;互信息量的统计平均值称为平均互信息量,定义为;1、共熵与熵和条件熵的关系为
H(XY)=H(X)+H(Y/X)
H(XY)=H(Y)+H(X/Y)
2、平均互信息量与熵和条件熵的关系为
I(X,Y)=H(X)-H(X/Y)
I(X,Y)=H(Y)-H(Y/X)
3、平均互信息量与熵和共熵的关系为
I(X,Y)=H(X)+H(Y)-H(YX)
;2.7.4连续信源的信息度量;当各抽样点统计独立时每个点包含的平均信息量(熵)为:;=-p(x)dx{log[p(x)dx]}
=-p(x)logp(x)dx-logdxp(x)dx
=-p(x)logp(x)dx+log(1/dx);如前所述,离散消息源当所有符号等概输出时,其熵最大。
连续信息源的最大熵条件如何求得?最大熵是多少?
;取决于消息源输出上所受的限制。常见的限制有两种。
峰值受限:对于有线性要求的系统,为了避免线性失真,对信号的峰值幅度有限制。
均方值受限(功率受限):无线性要求的系统。;1、对于均方值受限系统(功率
您可能关注的文档
最近下载
- JB_T 10295-2014 深松整地联合作业机.pdf
- 清产核资审计报告模板(范文).pdf
- 教育部2024年专项任务项目(高校辅导员研究)申请评审书《大学生“社恐”现象的心理机制与有效应对研究 》.docx VIP
- GB∕T 15115-2024 压铸铝合金GB∕T 15115-2024 压铸铝合金.pdf
- 第六届(2024年)“信用电力”知识竞赛活动总试题库-上(单选题汇总).docx
- 庄子(最完整的版本).pdf
- 《我爱这土地》PPT课件.ppt
- 雷雨-剧本原文-高中语文雷雨剧本原文.docx VIP
- 国家开放大学《人体解剖生理学》形考任务1-4附参考答案.pdf VIP
- 瑜伽社团总结PPT.pptx VIP
文档评论(0)