信息论与编码试卷及答案解析.docxVIP

-、(11 填空题 (1 ) 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而 创立了信息论。 TOC \o 1-5 \h \z 必然事件的自信息是 _0 。 离散平稳无记忆信源 X的N次扩展信源的熵等于离散信源 X的熵的N倍 。 对于离散无记忆信源，当信源熵有最大值时，满足条件为 —信源符号等概分布_。 若一离散无记忆信源的信源熵 H(X)等于2.5，对信源进行等长的无失真二进制编码， 则编码长度至少为 。 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 香农编码 。 已知某线性分组码的最小汉明距离为 3，那么这组码最多能检测出 2 个码元错误，最 多能纠正__ —个码元错误。 设有一离散无记忆平稳信道，其信道容量为 C,只要待传送的信息传输率 R小于 C (大 于、小于或者等于)，则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。 平均错误概率不仅与信道本身的统计特性有关，还与 译码规则 和 编码方 法_有关 三、(5 )居住在某地区的女孩中有 25%是大学生，在女大学生中有75%是身高1.6米以上的, 而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高 1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件， B表示“身高1.60以上”这一事件，则 (2分) (2分) I X;Y H X H Y H XY I X;Y H X H Y H XY (1 分) (2 分)故 (2 分) I(A|B)=-Iog0.375=1.42bit(1 I(A|B)=-Iog0.375=1.42bit (1 分) 四、(5 )证明： 四、(5 )证明：平均互信息量同信息熵之间满足 I(X; Y)二 H(X)+H (Y )-H(X Y) 证明: I X;Y P X yj p Xiyj log Y p X p x yj log p X p x yj log p Xi p Xi yj log p x yj Y (2分) 同理 同理 X;YH YX(1 X;Y H YX (1 分) 因为YXI X;Y 因为 YX I X;Y XYH YX(1 分)XY H XY H YX (1 分) XY H Y I X;Y 五、(18 ) ?黑白气象传真图的消息只有黑色和白色两种，求： 黑色出现的概率为 0.3，白色出现的概率为 0.7。给出这个只有两个符号的信源 X的数学模型。 假设图上黑白消息出现前后没有关联, 求熵 H X ； 2)假设黑白消息出现前后有关联, 其依赖关系为 ，求其熵H X 。 3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。 解:1）信源模型为（1 分） 解: 1）信源模型为 （1 分） 由题意可知该信源为一阶马尔科夫信源。八宁 （2 分） 尸（吗）二送只幻）凤％%/ 21总 7-1 （4分） 得极限状态概率 （2 分） 禺（X） 一工工P（气）P0 他）卩（叫 阿）=0.5533城f符号 (3 (3 分) i i 1 3) “ H(X) 1 1 0.119 log 2 2 1 H (X) log 2 2 0.447 (1 分) (1 分) 2 1。说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反 映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。 （2分） 六、（18 ?信源空间为 X1 X2 X3 X4 X5 X6 X7 P(X) 0.2 0.19 0.18 0.17 0.15 0.1 0.01 ，试分别构造二元香农码和二元霍夫 曼码，计算其平均码长和编码效率（要求有编码过程） 信源消息 符号咳 符号概 率⑷ 累加概 率匕 -1 ogjXaj 码字长 度h 码字 0.20 0 2.32 3 000 a. 盃 0.19 0.2 239 3 001 a3 0.18 039 2.47 3 Oil 口 0.17 0.57 n 2.56 3 100 0」气 0-74 2.74 3 101 % 0.10 0.89 332 4 1110 dr 0.01 (k99 6.64 7 1111110 _ 7 L p(ajh 3.14 0 0 H(X) 2.61 0.831 L 3.14 0. 20 0. 19 0. 18 0. 17 0, 15 0. 20 p 2tt 6 19 0.20 0. 18 0. 19 O 17 a 18 划 a 19 0. 15-M 0.17 丄 (L 35 J)?39 Q 61 I Io. 26 /o. 35 Q. 39 丄F 0. 20 d|/ 0. 26 -U a io^ix a 11 丄 o. oi jJ _ 7 = 2.12 i-i 码元/符号