信息论第章离散信源.pptVIP

  1. 1、本文档共62页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
信息论第章离散信源

第3章 离散信源 3.1 信源的数学模型及其分类 3.2 离散无记忆信源 3.3 离散无记忆信源的扩展信源 3.4 离散平稳信源 3.5 马尔可夫信源 3.6 信源的相关性和剩余度 作业 3-17,3-24 作业 13,15,16 平均符号熵 :信源输出为N长符号序列,平均每个符号的熵定义为 极限熵(极限信息熵) 当信源符号序列长度趋于无穷时的平均符号熵 定理:对任意离散平稳信源,若 极限熵代表一般离散平稳有记忆信源平均每发一个符号提供的信息,是考虑了符号相关性的最小值。 设有一个信源,它产生0,1序列的信息。它在任意时间而且不论以前发生过什么符号,均按P(0) = 0.4,P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的? (2) 试计算H(X2), H(X3/X1X2)及H∞; (3) 试计算H(X4)并写出X4信源中可能有的所有符号。 解: (1) 这个信源是平稳无记忆信源。因为有这些词语:“它在任意时间而且不论以前发生过什么符号……” (2) 设有一个信源,它产生0,1序列的信息。它在任意时间而且不论以前发生过什么符号,均按P(0) = 0.4,P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的? (2) 试计算H(X2), H(X3/X1X2)及H∞; (3) 试计算H(X4)并写出X4信源中可能有的所有符号。 解:(3) §3.5 马尔科夫信源 3.5.1 有限状态马尔科夫链 定义3.5.1 设 {Xn , n?N+ }为一随机序列,时间参数集N+={0,1,2,…}, 其状态空间S={S1,S2,…SJ}有限或可数,若对所有n ? N+ ,有 则称, {Xn,n?N+ }为马尔可夫链。 状态空间S = {S1,S2,…SJ} 是Xn所有可能取值,也常将状态空间简写成S = {1,2,…,J} 转移概率 m时刻状态Si,经(n-m)步后转移到状态Sj的概率 为描述实际系统状态的转化情况,引入状态转移概率的概念。 *基本转移概率(一步转移概率) 一步转移概率pij(m, m+1)记成pij(m) pij(m) = p(Xm+1=Sj|Xm=Si) *k步转移概率 k步转移概率pij(m, m+k)记成pij(k) (m) pij(k)(m)=p(Xm+k=Sj|Xm=Si) *k步转移矩阵: m时刻的k步转移概率矩阵为 定义3.5.2 如果在马尔可夫链中,pij(m)=P(xm+1=Sj|xm=Si)与时刻m无关,即pij(m)=pij ,则称这一类马尔可夫链为时齐马尔可夫链,齐次马尔可夫链 ,或具有平稳转移概率的马尔可夫链。 时齐马尔可夫链的一步转移矩阵P为 定义: 马尔科夫链在初始时刻的状态概率称为马尔可夫链的初始分布 p(X0=Si)=pi 为完整描述马尔可夫链的统计特性,需知道初始时刻的状态概率和各时刻的一步转移概率。 对于齐次马尔科夫链,已知初始分布和基本转移概率后,可以求得任意时刻的状态分布。 切普曼—科尔莫哥洛夫方程(C-K方程) 设P(n)是时齐马尔可夫链的n步转移矩阵(n?1), P=P(1)是基本转移矩阵,则 从而有 注意:P(n)是经过n步的转移矩阵。 定义3.5.3 若齐次马尔可夫链的n步转移概率对所有i,j存在不依赖于i的极限 则称齐次马尔科夫链具有遍历性,pj称为平稳分布,pi为该马尔可夫链的初始分布。 且满足 对于有限状态马尔可夫链,若存在w1,w2,···wr, 满足 则称此马尔可夫链稳态分布存在。 定理3.5.1 稳态分布唯一性定理 设齐次马尔可夫链转移矩阵为P={Pij}, i,j=1,2,···,r,稳态分布为Wj , j=1,2,···,r,则 a. b. 对稳态分布矢量W={w1 w2 ···wr} ,有W=WP c. 当初始分布W(0)=W时,对于所有的n有 W(n)=W d. W是唯一稳态分布,即若存在 定理3.5.2 稳态分布存在定理 设P是齐次马尔可夫链转移矩阵,则 该链稳态分布存在的充要条件是存在一个正整数N,使矩阵PN 中所有元素均大于零。 马尔可夫链的转移矩阵为 稳态分布是否存在,若存在求解。 * 当对信号、数据或消息进行处理时,有可能损失一部分信息。也就是说数据处理会把信号、数据或消息变成更有用的形式,但是决不会创造出新的信息。此即信息不增原理。如果我们想通过Y尽可能多地获得关于X的消息,也就是想增加互信息量,必须付出代价。

文档评论(0)

panguoxiang + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档