- 1、本文档共76页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
得: HN(X) = H(XN| X1X2…XN-1) 又因为 H(XN| X1X2…XN-1) ≤ HN(X) 且,当 时, HN(X) = HN+k(X) 当固定N时,有 HN+k(X) ≤ H(XN| X1X2…XN-1) 式中, H0(X) 为等概率无记忆信源单个符号的熵, H1(X)为一般无记忆(不等概率)信源单个符号的熵 H2(X)为两个符号组成的序列平均符号熵,依次类推。 推广可得结论: H∞ (X) ≤ … ≤ H2(X) ≤ H1(X) ≤ H0(X) 可以证明,对于二维离散平稳信源,条件熵等于极限熵,因此条件熵就是二维离散平稳信源的真实熵. 一般的,对记忆长度为m的平稳信源,则离散平稳信源的极限熵为H(Xm+1|X1X2…Xm)。这是因为当Nm时, H(XN|X1X2…XN-1)= H(Xm+1|X1X2…Xm) 。 对于一般信源,求出极限熵是很困难的,然而,一般来说,取N不大时就可以得到与极限熵非常接近的条件熵和平均符号熵,因此可以用条件熵和平均符号熵来近似极限熵 2.7 马尔可夫信源 在很多信源的输出序列中,符号之间的依赖关系是有限的,任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关,而与更前面的符号无关。 为了描述这类信源,除了信源符号集外还要引入状态集。这时,信源输出消息符号还与信源所处的状态有关。 若一个信源满足下面两个条件,则称为马尔可夫信源: (1)某一时刻信源输出的符号的概率只与当前所处的状态有关,而与以前的状态无关; (2)信源的下一个状态由当前状态和下一刻的输出唯一确定。 (1)某一时刻信源输出的符号的概率只与当前所处的状态有关,而与以前的状态无关。即 当符号输出概率与时刻 l 无关,称为具有时齐性。即 2.7 马尔可夫信源 (2)信源的下一个状态由当前状态和下一刻的输出唯一确定。 条件(2)表明,若信源处于某一状态 ,当它发出 一个符号后,所处的状态就变了,一定转移到另一状态。 状态的转移依赖于发出的信源符号,因此任何时刻信源处 在什么状态完全由前一时刻的状态和发出的符号决定。 2.7 马尔可夫信源 例:二阶马尔可夫信源,原始符号集为{1,0}, 条件概率定义为:P(0|00)=P(1|11)=0.8 P(1|00)=P(0|11)=0.2 P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5 由此可见,信源共有22=4种状态 E:{e1=00,e2=01,e3=10,e4=11} 2.7 马尔可夫信源 状态之间有转移概率, p(e2|e1)=p(e3|e4)=0.2 p(e2|e4)=p(e1|e3)=p(e2|e3)=p(e3|e2)=0.5 P(e1|e1)=p(e4|e4)=0.8 其状态转移图如下页。在状态转换图中,把信源的每一种状态用圆圈表示,用有向箭头表示信源发出某一符号后由一种状态到另一状态的转移。 2.7 马尔可夫信源 01 10 0:0.5 1:0.2 0:0.2 00 0:0.8 11 1:0.8 1:0.5 0:0.5 1:0.5 由上例可知,m阶马尔可夫信源符号集共有q个符号,则信源共有 个不同状态。信源在某一时刻时,必然处于某一种状态,等到下一个字符输出时,转移到另外一个状态。 2.7 马尔可夫信源 2.8 信源剩余度与自然语言的熵 1)假设其为离散平稳随机序列信源,极限熵H∞存在,但求解困难; 2) 假设其为m阶Markov信源,用其m阶条件熵Hm+1近似;近似程度取决于记忆长度m的大小,最简单的是记忆长度为1,用H2来近似; 3) 假定信源是离散无记忆信源,各符号出现概率能知道,用平均自信息量H1=H(x)来近似; 4) 假定信源为等概的离散无记忆信源,其熵为H0=logq来近似 它们之间的关系可以表示为: 1、关于离散信源熵的总结: 前面曾介绍:离散无记忆信源及其N次扩展、离散平稳信源、有限长度记忆信源(包括marlkov信源)。 实际信源可能是非平稳的有记忆随机序列信源;其极限熵是不存在的;解决的方法是: 2、熵的相对率 3、信源冗余度(也称为多余度或剩余度) 信源输出符号间依赖关系
您可能关注的文档
- 2《大禹治水》课件2资料.ppt
- 2《语言的魅力》课件资料.ppt
- 13售后服务及培训计划资料.doc
- 2016年公需科目《心理健康与心理调适》试卷及答案资料.docx
- 13图片资源资料.ppt
- 13我的叔叔于勒资料.ppt
- 2016年公需课考试答案5资料.doc
- 2D12-14.453-25氮气压缩机2016年检修施工方案资料.docx
- 2016年广东高考(全国I卷)文数含答案资料.doc
- 2Java第二单元练习题-面向对象程序设计基础资料.doc
- 2025年中山市沙溪镇人民政府所属事业单位招聘11人笔试备考题库及参考答案详解一套.docx
- 2025年中山市横栏镇人民政府所属事业单位第二期招聘笔试高频难、易错点备考题库及参考答案详解一套.docx
- 2025年中山市横栏镇人民政府所属事业单位第二期招聘笔试高频难、易错点备考题库含答案详解.docx
- 2025年中山市阜沙镇人民政府所属事业单位招聘笔试高频难、易错点备考题库及完整答案详解1套.docx
- 2025年中山市阜沙镇人民政府所属事业单位招聘笔试高频难、易错点备考题库参考答案详解.docx
- 2025年中山市阜沙镇人民政府所属事业单位招聘笔试备考题库附答案详解.docx
- 2025年中山市阜沙镇人民政府所属事业单位招聘笔试高频难、易错点备考题库附答案详解.docx
- 2025年中山市阜沙镇人民政府所属事业单位招聘笔试备考题库附答案详解.docx
- 2025年中山市阜沙镇人民政府所属事业单位招聘笔试备考题库及答案详解一套.docx
- 2025年中山市阜沙镇人民政府所属事业单位招聘笔试备考题库及完整答案详解1套.docx
文档评论(0)