信息论与编码理论—第三章习题解答.pptVIP

习题课 3.1 试证明长度不超过N的D元不等长码至多有D(DN－1)/(D－1)个码字。 [3.1的解答] 长度等于k的D元码字至多有Dk个，其中k=1~N。 因此长度不超过N的D元码字至多有 3.2 以上是一个离散无记忆信源。若对其输出的长为100的事件序列中含有两个和更少个al的序列提供不同的码字。 (a) 在等长编码下，求二元码的最短码长N。 (b) 求错误概率(误组率)。 [3.2的解答] (a) 长为L=100的事件序列中含有两个和更少个al的序列，其个数为 习题课 (b) 含有两个和更少个al的序列拥有不同的码字，它们的译码不会出现错误。因此错误概率(误组率)不会超过“含有三个以上al的序列”出现的概率。而“含有三个以上al的序列”出现的概率等于 习题课 [3.2的注解] 事实上，在对“含有两个或更少个al的长为100的序列”提供不同的码字之后,还有210-596=428个富余的码字。这些富余的码字如果提供给其中428 个“含有恰好三个al的长为100的序列”，作为它们各自的不同码字。则错误概率不会超过 习题课 3.4 对于有4个字母的离散无记忆源有两个码A和B，参看下表。试问： (a) 各码是否满足异字头条件?是否为唯一可译码? (b) 当收到1时得到多少关于字母a1的信息? (c) 当收到1时得到多少关于信源的平均信息? 习题课 [3.4的解答] (a) 码A是异字头码。码B不是异字头码。码A和码B都是唯一可译码。码A的译码规则是：1就是一个码字的末尾。码B的译码规则是：1就是一个码字的开头。 习题课 (b) “当收到1时得到多少关于字母a1的信息”，这是求事件a1与事件“收到1”的（非平均）互信息量。以码A为例。 P(a1)=0.4。 P(收到1)=P(a1)×P(收到1|a1)+P(a2)×P(收到1|a2) +P(a3)×P(收到1|a3)+P(a4)×P(收到1|a4) =0.4×1+0.3×(1/2)+0.2×(1/3)+0.1×(1/4)=0.642。 P(a1，且收到1)=P(a1)×P(收到1|a1)=0.4×1=0.4。 所以I(a1；收到1)=log{0.4/(0.4×0.642)}=0.64155。 (c) “当收到1时得到多少关于信源的平均信息”，这是求信源随机变量U与事件“收到1”的（半平均）互信息量。以码A为例。 I(收到1；U)= 3.6 令离散无记忆信源如上。 (a) 求对U（即U1）的最佳二元码、平均码长和编码效率。 (b) 求对U2 （即U1U2）的最佳二元码、平均码长和编码效率。 (c) 求对U3 （即U1U2U3 ）的最佳二元码、平均码长和编码效率。 （U1U2U3 ）~ （U1U2）的第一种最佳二元码 （U1U2）的第二种最佳二元码 （U1U2）的最佳二元码平均码长和编码效率： （U1U2U3）的码字 （U1U2U3）的最佳二元码平均码长： （U1U2U3）的最佳二元码编码效率： 3.9 设离散无记忆信源如上。试求其二元和三元Huffman码。 [3.9的解答] 二元Huffman码为： 习题课 三元Huffman码为： 习题课 3.10 设离散无记忆源 试构造两组三元异字头条件码，其平均码长相同，但具有不同的方差。哪一组更好些?为什么? [3.10的解答] 两组不同的三元异字头条件码如下： 第一种三元异字头码（用Huffman编码法）平均码长为2 ，方差为0。 第二种三元异字头码（用Huffman编码法） 平均码长为1×0.2+2×0.6+3×0.2=2，方差为(1-2)2×0.2+(2-2)2×0.6+(3-2)2×0.2=0.4。 习题课 我们认为，第一种三元异字头码比第二种三元异字头码更好。以下是我们的理由。 离散信源每隔一个定长的时间间隔就产生一个随机变量。这个随机变量共有8个可能的事件。 使用第一种三元异字头码，则每隔一个定长的时间间隔就产生一个长度为2的码字。 使用第二种三元异字头码，则每隔一个定长的时间间隔产生一个长度可能为1，可能为2，也可能为3的码字。 综上所述，第一种三元异字头码使得编码器的时钟固定，而第二种三元异字头码使得编码器的时钟随机。因此第一种三元异字头码的编码器更简单。 3.12 设离散无记忆信源如上。若信源输出序列为1011011110110111 （a）对其进行算术编码并计算编码效率。（希望编程计算） （b）对其进行LZ编码并计算编码效率。 [3.12的解答] （a） F(0)=0， F(1)=1/4，P(0)=1/4，P(1)=3/4。 L=16，事件序列 编码迭代过程最终得到的H=P(u1)P(u2)…P(u16)=(1/4)4 (3/4)12=312/416 ；log2(1/H)