长江大学信息论与编码典型例题.docVIP

例 题 例1 简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 解：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为。 例2 什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 解：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息为 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 例3 解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 解：等长信源编码定理：对于任意e0，d0，只要，则当L足够长时必可使译码差错d。 变长信源编码定理：只要，一定存在一种无失真编码。 等长码和变长码的最小平均码长均为，编码效率最高可达100%。 例4 解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 解：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。 最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。 最小距离译码准则下，将接收序列译为与其距离最小的码字。 三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。 例5 什么是保真度准则？对二元信源，其失真矩阵，求a0时率失真函数的和？ 解：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 例6 一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按发出符号，求和平均符号熵 解：bit/2个符号 bit/符号 bit/符号 例7 分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。 解：平均互信息相对于信源概率分布为上凸函数，相对于信道传递概率分布为下凹函数。平均互信息的最大值为信道容量。 例8 二元无记忆信源，有求： （1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？ （2）求100个符号构成的信源序列的熵。 解：1） 2）bit/序列 例9 求以下三个信道的信道容量： 解：P1为一一对应确定信道，因此有bit/符号。 P2为具有归并性能的信道，因此有 bit/符号。 P3为具有发散性能的信道，因此有bit/符号。 例10 写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 解：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 例11 二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求： （1）求该马氏信源的符号熵。 （2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。 （3）求每符号对应的平均码长和编码效率。 解：1）由，得极限概率 则符号熵为bit/符号 2）新信源共8个序列，各序列的概率为 信源模型为 一种编码结果（依信源模型中的序列次序）为0，11，1001，1010，1011，10000，100010，100011 3）bit/符号 例12 信源空间为试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。 解：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。 平均码长L=2.6bit/符号，编码效率?=0.97 2）三元码的码字依序为：1，00，02，20，21，22，010，011。 平均码长L=1.7bit/符号，编码效率?=0.936 例13 设线性分组码的生成矩阵为，求： （1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字。 （2）求其对应的一致校验矩阵H。 （3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。 （4）若接收码字为000110，用伴随式法求译码结果。 解：1）n=6，k=3，由C=mG可得所有码字为： 000000，001011，010110，011101，100101，101110，110011，111000 2）此码是系统码，由G知，，则 3）由H可知，其任意2列线性无关，而有3列线性相关，故有，能纠一位错。 　错误图样E　　伴随式 　　100000　　　　　101 　　010000　　　　　110 　　001000　　　　　011 　　000100　　　　　100 　　000010　　　　　010 　　000001　　　　　001 4）由知E＝010000，则 例14 二元对称信道的信道矩阵为，信道传输速度为1500