信息论与编码试卷及答案分解.docxVIP

1 、 (11)填空题 1) 1948 年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创 立 了信息论。 2) 必然事件的自信息是 0 。 3) 离散平稳无记忆信源 X 的 N 次扩展信源的熵等于离散信源 X 的熵的 N 倍 。 4) 对于离散无记忆信源，当信源熵有最大值时，满足条件为 __信源符号等概分布 _。 5) 若一离散无记忆信源的信源熵 H (X )等于 2.5，对信源进行等长的无失真二进制编 码， 则编码长度至少为 3 。 6) 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 香农编码 。 7) 已知某线性分组码的最小汉明距离为 ______________________________3，那么这组 码最多能检测出 _2 个码元错误， 最多能纠正 ___1__ 个码元错误。 8) 设有一离散无记忆平稳信道， 其信道容量为 C，只要待传送的信息传输率 R__小于 ___C(大 于、小于或者等于) ，则存在一种编码，当输入序列长度 n 足够大， 使译 码错误概率任意小。 9) 平均错误概率不仅与信道本身的统计特性有关， 还与 ___译码规则 __和___编码方 法___有关 三、 (5 )居住在某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以 上的， 而女孩中身高 1.6 米以上的占总数的一半。 假如我们得知“身高 1.6 米以上的某女孩是大学生”的消息，问获得多少信息 量？ 解：设 A 表示“大学生”这一事件， B 表示“身高 1.60 以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 ( 2 分) 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 ( 2 分) I(A|B)=- log0.375=1.42bit ( 1 分) 四、 (5 )证明： 平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明： 2 I X;Y p xi yj X Y X Y i p xi yj log i j p xi yj log p xi X Y X Y H X H XY 同理 I X;Y H Y H Y X 则 p xi yj log p xi y j (1 分) 2 ( 分) H YX H Y I X;Y 因为 H XY H X H Y X ( 1 分) 故 H XY H X H Y I X;Y 即 I X;Y H X H Y H XY ( 1 分) 五、(18) .黑白气象传真图的消息只有黑色和白色两种，求： 1) 黑色出现的概率为 0.3，白色出现的概率为 0.7。给出这个只有两个符 号的信源 假设图上黑白消息出现前后没有关联，求熵 H X ； X 的数学模型。 2) 假设黑白消息出现前后有关联，其依赖关系为 3 ，求其熵 H X 。 3)分别求上述两种信源的冗余度，比较它们的大小并说明其 物理意义。 解： 1)信源模型为 ( 1 4 2)由题意可知该信源为一阶马尔科夫信源。 2 分) 4 分) 得极限状态概率 2 分) (3 分) 3) 1 1 1 0.119 H(X) log2 2 1 分) 2 1 0.447 H (X) log2 2 (1 分) 2 1。说明： 当信源的符号之间有依赖时，信源输出消息的不确定性 减弱。 映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。 ( 2 分) 而信源冗余度正是反 六、(18) .信源空间为 X x1 x2 x3 x4 x5 x6 x7 12 ，试分别构造二元香农码和二 P(X) 0.2 0.19 0.18 0.17 0.15 0.10.01 曼码，计算其平均码长和编码效率(要求有编码过程) 5 R 7 L p(ai)li i1 H(X) 2.61 L 3.14 3.14 0.83 1 6 解： 解： 1)共 6 分 七(6) 递矩阵为 .设有一离散信道，其信道传 1/2 1/6 1/3 1/3 1/2 1/6 1/6 1/3 1/2 ，并 设 p(x1) 22 22 1 4 ，试分