信息论典型例题.docVIP

. .. 1．设信源通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为，求： (1) 信源X中事件x1和事件x2分别包含的自信息量； (2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量； (3) 信源X和信宿Y的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y后获得的平均互信息量。 解： 1) 2) 3) 4) ? 5) 2．设二元对称信道的传递矩阵为 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) 2) 3．黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7。 (1) 假设图上黑白消息出现前后没有关联，求熵H(X)； (2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H2(X); 解： (1) (2) 4．某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵； (2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1 (3) 计算(2)中序列的熵。 解： (1) (2) (3) 5．已知一个高斯信道，输入信噪比（比率）为3。频带为3kHz，求最大可能传输的消息率。若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？ 解： ?6．试求以下各信道矩阵代表的信道的容量： (1) [P] = (2) [P] = (3) [P] = 解： 1) 这个信道是一一对应的无干扰信道 2) 这个信道是归并的无干扰信道 3) 这个信道是扩展的无干扰信道 7．设信源 (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解： (1) (2) xi p(xi) pa(xi) ki 码字 x1 0.2 0 3 000 x2 0.19 0.2 3 001 x3 0.18 0.39 3 011 x4 0.17 0.57 3 100 x5 0.15 0.74 3 101 x6 0.1 0.89 4 1110 x7 0.01 0.99 7 1111110 (3) 8．对信源编二进制费诺码，计算编码效率。 解： xi p(xi) 编码 码字 ki x1 0.2 0 0 　 　 00 2 x2 0.19 1 0 　 010 3 x3 0.18 1 　 011 3 x4 0.17 1 0 　 　 10 2 x5 0.15 1 0 　 110 3 x6 0.1 1 0 1110 4 x7 0.01 1 1111 4 ? 9．对信源编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。 解： 二进制哈夫曼码： xi p(xi) 编码 码字 ki s6　 　 ? ? ? ? ? 1 　 　 s5 　 ? ? ? ? 0.61 0 　 　 s4 　 ? ? ? 0.39 　 1 　 　 s3 　 ? ? 0.35 　 0 　 　 　 s2 　 ? 0.26 　 　 1 　 　 　 x1 0.2 　 　 　 0 ? 　 10 2 x2 0.19 　 　 　 1 ? 　 11 2 x3 0.18 　 　 0 ? ? 　 000 3 x4 0.17 　 　 1 ? ? 　 001 3 x5 0.15 　 0 ? ? ? 　 010 3 s1 　 0.11 1 ? ? ? 　 　 　 x6 0.1 0 ? ? ? ? 　 0110 4 x7 0.01 1 　 　 　 　 　 0111 4 10．设线性分组码的生成矩阵为，求： （1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字。 （2）求其对应的一致校验矩阵H。 （3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。 （4）若接收码字为000110，用伴随式法求译码结果。 解：1）n=6，k=3，由C=mG可得所有码字为： 000000，001011，010110，011101，100101，101110，110011，111000 2）此码是系统码，由G知，，则 3）由H可知，其任意2列线性无关，而有3列线性相关，故有，能纠一位错。 　错误图样E　　伴随式 　　100000　　　　　101 　　010000　　　　　110 　　001000　　　　　011 　　000100　　　　　100 　　000010