信息论马尔科夫信源.pptVIP

  1. 1、本文档共19页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
信息论马尔科夫信源

* * 以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源。 某时刻输出符号仅与此刻信源所处的状态有关; 某时刻所处状态由当前输出符号和前一时刻信源状态唯一确定。 1 2 1、定义 在实际问题中,试图限制记忆长度,就是说任何时刻信源发出符号的概率只与前面已经发出的m个符号有关,而与更前面发出的符号无关,即马尔可夫信源。 2.2.3 马尔可夫信源 称信源的随机状态序列服从马尔可夫链 2、状态转移图 在状态转移图上, 每个圆圈代表一种状态, 状态之间的有向线段表某一状态向另一状态的转移。 有向线一侧的符号和数字分别代表发出的符号和条件概率。 条件概率: p 0/00 p 1/11 0.8 p 1/00 p 0/11 0.2 p 0/01 p 0/10 p 1/01 p 1/10 0.5 状态转移概率: p e1/e1 p e4/e4 0.8 p e2/e1 p e3/e4 0.2 p e3/e2 p e2/e3 p e4/e2 p e1/e3 0.5 (1)定义 在任何时刻l,符号发出的概率只与前面m个符号有关,把m个符号看做信源在l时刻的状态。因为原始信源符号集共有n个符号,则有记忆信源可以有nm个不同的状态,分别对应于nm个长度为m的序列。这时,信源输出依赖长度为m+1的随机序列就转化为对应的状态序列,而这种状态序列符合马尔可夫链的性质,称为m阶马尔可夫信源。 3、m阶马尔可夫信源 n—信源符号集 nm—信源不同的状态数 m+1—信源输出依赖长度; (2)数学模型 令 则由信源输出符号的条件概率 可以确定状态转移概率p sj/si ,i,j∈ 1,2,…,nm 马尔可夫信源的状态空间 例:设一个二元一阶马尔可夫信源,信源符号集为 X 0,1 ,信源输出符号的条件概率为 p 0/0 0.25,p 0/1 0.50,p 1/0 0.75,p 0/1 0.50, 求状态转移概率。 解:由于信源符号数n 2,因此二进制一阶信源仅有2个状态:s1 0,s2 1。由条件概率求得信源状态转移概率为 p s1/s1 0.25,p s1/s2 0.50,p s2/s1 0.75,p s2/s2 0.50 3 熵 由定义并考虑平稳性 其中 p si i 1,2,…,nm 是 m 阶马尔可夫信源稳定后的状态极限概率, p sj /si 是一步转移概率。 (4)各态历经定理 定理:对于有限齐次马尔可夫链,若存在一个正整数 对一切i,j 1,2,…,nm,都有 则对每一个j都存在不依赖于i的极限 称这种马尔可夫链是各态历经的。其极限概率是方程组 的唯一解。 二阶马尔可夫信源 00 01 10 11 ,求状态转移概率和极限熵。 例 p e1/e1 p x1/e1 p 0/00 0.8 p e2/e1 p x2/e1 p 1/00 0.2 p e3/e2 p x1/e2 p 0/01 0.5 p e4/e2 p x2/e2 p 1/01 0.5 p e1/e3 p x1/e3 p 0/10 0.5 p e2/e3 p x2/e3 p 1/10 0.5 p e3/e4 p x1/e4 p 0/11 0.2 p e4/e4 p x2/e4 p 1/11 0.8 求出稳定状态下的 p ej ,称为状态极限概率. 将一步转移概率代入上式得: p e1 0.8 p e1 +0.5 p e3 p e3 0.5 p e2 +0.2 p e4 p e2 0.2 p e1 +0.5 p e3 p e4 0.5 p e2 +0.8 p e4 解方程组得: p e1 p e4 5/14 p e2 p e3 2/14 计算极限熵: 平稳信源(如果不平稳则先把其变成分段平稳的)。 1 2 1 总结 马尔可夫信源发出一个个符号,有限长度有记忆信源发出一组组符号; 一般有记忆信源用联合概率描述符号间的关联关系,马尔可夫信源用条件概率(状态转移概率)来描述符号间的关联关系; m阶马尔可夫信源与一般记忆长度为m的有记忆信源的区别: 1 2 2 马尔可夫信源记忆长度虽然有限,但依赖关系延伸到无穷远。长为m的有限记忆信源符号间的依赖关系仅限于每组内,组与组之间没有依赖关系; 3 对于英语信源: 2.2.4 信源冗余度 信息熵的相对率: 信源的冗余度: 信息变差: 在设计实际通信系统时,信源冗余度的存在对传输是不利的,应尽量压缩信源冗余度,压缩冗余度的方法就是尽量减小符号间的相关性,并且尽可能地使信源输出消息等概率分布,以使每个信源发出的符号平均携带的信息量最大,即信源编码问题; 反之,若考虑通信中的抗干扰问

您可能关注的文档

文档评论(0)

dfd7997 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档