信息论与编码复习题.docVIP

  1. 1、本文档共6页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
信息论与编码复习题.doc

1.从大量统计中知道,男性红绿色盲的发病率为,女性发病率为,如果你问一对男女“你是否是红绿色盲?”他们分别回答可能是“是”。问此回答各含多少信息量?平均每个回答各含多少信息量?4,6,11/32 2. 地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占半数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量? 3.设有一连续随机变量,其概率密度函数为:,试求这随机变量的熵。又若,,试分别求出和的熵和。 4. 设随机变量取值于,,已知的数学期望,求使达到最大的概率分布和该分布的熵. 5.设Markov信源的状态空间为:,其一步转移概率如下: 画出状态转移图? 求该信源的平稳分布.4/9,5/9 求该信源的极限分布. 6. 一信源产生概率为的统计独立二进制数符。这些数符组成长度为100的数符组。我们为每一个含有3个或少于3个“1”的源数符组提供一个二进制码字,所有码字的长度相等。 求出为所规定的所有源符组都提供码字所需的最小码长。18 求信源发出一数符组,而编码器无相应码字的概率。07 .设有一Markov信源,其状态集为,符号集为,在某状态下发出符号的概率如图所示。 (1)、证明该信源的遍历性,并求其稳定分布; (2)、求该信源的极限熵; 10/9 (3)、求信源稳定后符号的概率分布。 15/27,5/27,7/27 8. 离散无记忆信道的转移概率矩阵为,求该信道的信道容量,及其最佳输入分布。 9.设离散无记忆信道的转移概率矩阵为,求出信道容量及其达到信道容量的最佳输入概率分布。并求当时的信道容量。 10. 已知一个信源包含八个符号消息,它们的概率分布如下表, A B C D E F G H 0.1 0.18 0.4 0.05 0.06 0.1 0.07 0.04 求该信源的熵。 对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码效率。 对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码效率。 11. 有一个含有8个消息的无记忆信源,其概率各自为0.2,0.15,0.15,0.1,0.1,0.1,0.1,0.1。试编成两种三元非延长码,使它们的平均码长相同,但具有不同的码长的方差。并计算其平均码长和方差,说明哪一种码更实用些。 12. 求下图中DMC的信道容量。如果输入分布为{p(x=0)=1/2,p(x=1)=1/4,p(x=2)=1/4),试求输入的信息熵和经过该信道的输入、输出间的平均互信息量。 13. 设二元对称信道的传递矩阵为 若,求和; 求该信道的信道容量及其达到信道容量时的输入概率分布。 14. 设有一离散信道,其信道转移概率矩阵为,并设,,试分别按最小错误概率准则和极大似然译码准则确定译码规则,并计算相应的平均错误概率。 15. 令,失真矩阵为,对于一个等概率输入的随机变量,求率失真函数对应的定义域和。 16. 证明:H(X|Y) + H(Y|Z) ≥ H(X|Z) 17. 证明离散平稳信源有: 18. 试证明长度为N的r元不等长编码至多有个码字。 简答题 信息通讯系统模型 答:信源,编码器,信道,译码器,信宿 平均互信息是什么?写出常用的三种表达式,并用语言描述。 答:平均互信息是信源与信宿间平均传递(或接收)信息量大小的度量 信源冗余度(剩余度)是什么?其有何应用? 大:冗余度是用来衡量信源输出的符号序列中各符号之间的依赖程度的量。 从提高传输信息效率的观点出发,总是希望减少或去掉冗余度。冗余度大的消息具有强的抗干扰能力。 香农第一、第二、第三编码定理分别指什么?并描述第一定理。 答:香农第一定理:变长信源编码定理 香农第二定理:有噪信道编码定理 香农第三定理:保真度准则下的信源编码定理 香农第一定理:离散无记忆信源X的N次扩展信源,其熵为,并有码符号集 A={a1,…,ar} 。 对信源进行编码,总可以找到一种编码方法,构成唯一可译码,使信源X中每个信源符号所需的平均码长满足,或者 你是如何理解信源编码的? 答:信源编码的主要任务 (1)符号变换:使信源输出符号与信道的输入符号相匹配。 (2)减少冗余,具体的说,就是针对信源输出符号序列的统计特性,寻找一定的把信源输出符号序列变换为最短码字序列的方法。 信道的组合有哪些?并分别写出由两个信道构成的组合信道的信道容量。 积信道,信道容量为C=C1+C2。和信道,信道容量为。级联信道,信道容量为C≤min{C1, C2}。 请写出对称信道、准对称信道的信道特征,并给出对称信道信道容量的计算公式? 输入对称转移概率矩阵P的每一行都是第一行的重新排列(包含同样元素),称该矩阵是输入对称。输出对称转移概率矩阵P的每一列都是第一列的重

文档评论(0)

wangshirufeng + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档