“信息论与编码”试题_参考解答_2008.docVIP

“信息论与编码”试题 2007级硕士研究生 2008年月n维随机变量的共熵，不大于它们各自的熵之和。 证明： 即证明 因为 0 ( I (X; Y) = H(X) – H(X/Y)， 所以 H(X/Y) (H(X)。 由共熵的定义和熵的链接准则，有 H(X 1, X 2) = H(X 1) +H(X 2/ X 1) H(X 1, X 2, X 3) = H(X 1)+H(X 2, X 3/ X 1) = H(X 1)+H(X 2/ X 1)+H(X 3/ X 2, X 1) ( H(X 1)+H(X 2) +H(X 3) … 证毕。 2.请给出信源编码器的主要任务以及对信源编码的基本要求。 解：信源编码器的主要任务是完成输入消息集合与输出代码集合之间的映射。对信源编码如下基本要求： （1）选择合适的信道基本符号，以使映射后的代码适应信道。例如，ASCII码选用了16进制数。 （2）寻求一种方法，把信源发出的消息变换成相应的代码组。这种方法就是编码，变换成的代码就是码字。 （3）编码应使消息集合与代码组集合中的元素一一对应。 解：平均码长界定定理：若一个离散无记忆信源X，具有熵H(X)，对其编码用D种基本符号，则总可以找到一种无失真信源编码，构成单义可译码，使其平均码长满足 平均码长界定定理的物理意义编码所追求的，是在单义可译前提下寻求尽可能小的平均码长平均码长界定定理指出，平均码长的下界值。对于给定信源空间{X，P(X)}的离散信源，其熵H(X)是确定的数值，如果信道基本符号也是确定的，即D也是给定的，则也就定了。这意味着，如果不改变信源的统计特性，减小的潜力，到了下界值也就到了极限了。因此，如果要进一步提高编码效率，必须对信源本身进行研究，例如改变信源本身的统计特性，对其进行扩展。 解：（1）均匀分布连续信源的相对熵为 （2）高斯分布连续信源X的相对熵为 中间步骤可以省略 （3）指数分布连续信源X的相对熵为 中间步骤可以省略 5.请给出失真函数、平均失真度、保真度准则、信息率失真函数的定义。 解：失真函数定义对于系统，对应于每一对（aibj）（n = 1, 2, …r；j=1, 2, …, s），定义一个非负实值函数 表示信源发出符号ai而经信道传输后再现成信道输出符号集合中的bj所引起的误差或失真，称之为ai和bj之间的失真函数ij。定义若信源和信宿的消息集合分别为…, ar}和…, bs}，其概率分别为…, r ; j=1, 2, …, s )，信道的转移概率为，失真函数为d (ai, bj)，则称随机变量X和Y的联合概率对失真函数d (ai, bj)的统计平均值为该通信系统的平均失真度。 定义从平均的意义上来说，信道每传送一个符号所引起的平均失真，不能超过某一给定的限定值D，即要求称这种对于失真的限制条件为保真度准则。 用给定的失真D为自变量来描述的信息传输速率，称为信息率失真函数，用R(D)表示。(n, k)循环码的生成多项式g(x)是xn+1的因式。 证明：将生成多项式g (x)乘以，得 由于次数为n，故上式中q(x) = 1，而是g (x)循环左移k次所得，它是g(x)的倍式，设，故有 证毕。 7. 请给出域的定义并说明集合{0, 1, 2}可否构成域及其理由。 解：域的定义非空元素集合F，若在F中定义了加和乘两种运算，且满足 F关于加法构成Abel 群，其加法恒元记为0； F中非零元素全体对乘法构成Abel 群，其乘法恒元记为1； 加法和乘法间有如下分配律：a(b+c)=ab+ac，(b+c)a=ba+ca 则称F是一个域。 域是一个可换的、有单位元的、非零元素有逆元的环。 {0, 1, 2}可以构成域。对该集合中的元素定义模3加和模3乘这两种运算，完全符合域必须满足的3个条件。 8. 请给出本原多项式本原多项式若m次既约多项式p(x)除尽的xn+1的最小正整数n满足n=2m–1，称p(x)为本原多项式。本原多项式有如下性质： 本原多项式一定是既约的但既约多项式不一定是本原的。 例如：x4+x+1能除尽x15 +1，但除不尽任何1 ≤ n 15的xn +1，所以x4 +x +1是本原的；x4+x3 +x2+x+1，能除尽x15 +1，也能除尽 x5+1，所以x4+x3 +x2+x+1是既约的但不是本原的。 对于给定的m，可能有不止一个m次本原多项式。x5+x3 +1是本原多项式，x +x2 +1也是。 9. 试说明循环码对突发错误的检测能力。 解：（1）循环码能检测长为n – k或更短的任何突发错误，包括首尾相接突发错误。 （2）循环码对n – k +1位长的突发错误不能被检出所占的概率最大是2– ( n – k +1)。 （3）如果l n