2019年信息论与编码理论习题答案范文.docVIP

2019年信息论与编码理论习题答案范文 　　 篇一：信息论与编码理论习题答案 ? 　　 第二章信息量和熵 ? 　　 2.2八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 ? 　　 信息速率。 ? 　　 解：同步信息均相同，不含信息，因此 ? 　　 每个码字的信息量为2?log8=2?3=6bit ? 　　 因此，信息速率为6?1000=6000bit/s ? 　　 2.3掷一对无偏骰子，告诉你得到的总的点数为：(a)7;(b)12。问各得到多少信 ? 　　 息量。 ? 　　 解：(1)可能的组合为{1，6},{2，5},{3，4},{4，3},{5，2},{6，1} ? 　　 61p(a)==366 ? 　　 得到的信息量=log1=log6=2.585bitp(a) ? 　　 (2)可能的唯一，为{6，6} ? 　　 1p(b)=36 ? 　　 得到的信息量=log1=log36=5.17bitp(b) ? 　　 2.4经过充分洗牌后的一副扑克（52张），问： ? 　　 (a)任何一种特定的排列所给出的信息量是多少？ ? 　　 (b)若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ ? 　　 1解：(a)p(a)=52! ? 　　 信息量=log1=log52!=225.58bitp(a) ? 　　 ?13!??13种点数任意排列(b)?13?4??花色任选 ? 　　 13!?413413 ? 　　 p(b)==1313C52A52 ? 　　 13信息量=logC52?log413=13.208bit ? 　　 2.9随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的 ? 　　 点数之和，Z表示3颗骰子的点数之和，试求H(Z|Y)、H(X|Y)、H(Z|X,Y)、H(X,Z|Y)、H(Z|X)。 ? 　　 解：令第一第二第三颗骰子的结果分别为x1,x2,x3，x1，x2，x3相互独立， ? 　　 则X?x1，Y?x1?x2，Z?x1?x2?x3 ? 　　 H(Z|Y)=H(x3)=log6=2.585bit ? 　　 H(Z|X)=H(x2?x3)=H(Y) ? 　　og36+log18+log12+log9+loglog6)+3636363636536 ? 　　 =3.2744bit ? 　　 =2?( ? 　　 H(X|Y)=H(X)-I(X;Y)=H(X)-[H(Y)-H(Y|X)] ? 　　 而H(Y|X)=H(X)，所以H(X|Y)=2H(X)-H(Y)=1.8955bit ? 　　 或H(X|Y)=H(XY)-H(Y)=H(X)+H(Y|X)-H(Y) ? 　　 而H(Y|X)=H(X)，所以H(X|Y)=2H(X)-H(Y)=1.8955bit ? 　　 H(Z|X,Y)=H(Z|Y)=H(X)=2.585bit ? 　　 H(X,Z|Y)=H(X|Y)+H(Z|XY)=1.8955+2.585=4.4805bit ? 　　 2.10设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 ? 　　 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 ? 　　 解： ? 　　 i?0,2,4,6,8√ ? 　　 I(X;Y)=H(Y)-H(Y|X) ? 　　 因为输入等概，由信道条件可知， ? 　　 1?p(y?ii为奇数)???10??p(y?ii为偶数)?1(1?1?1?1?1)?1 ? 　　 ?102888810? ? 　　 即输出等概，则H(Y)=log10 ? 　　 H(Y|X)=??i?p(xyijj)logp(yj|xi) ? 　　 =???p(xiyj)logp(yj|xi)-??p(xiyj)logp(yj|xi) ? 　　 ji偶ji奇 ? 　　 =0-??p(xiyj)logp(yj|xi) ? 　　 ji奇 ? 　　 =- ? 　　 =i?1,3,5,7，9?p(x)p(yii|xi)logp(yi|xi)-?i?ji＝1，3，5，7，9?p(x)p(yij|xi)logp(yj|xi)11111?log2?5+??log8?4 ? 　　 13=?=1bit44 ? 　　 I(X;Y)=H(Y)-H(Y|X)=log10-1=log5=2.3219bit ? 　　 2.11令{u1,u2,?，u8}为一等概消息集，各消息相应被编成下述二元码字u1=