“信息论与编码”试题_参考解答_2008..docVIP

“信息论与编码”试题 2007级硕士研究生 2008年月n维随机变量的共熵，不大于它们各自的熵之和。 证明： 即证明 因为 0 ? I (X; Y) = H(X) – H(X/Y)， 所以 H(X/Y) ?H(X)。 由共熵的定义和熵的链接准则，有 H(X 1, X 2) = H(X 1) +H(X 2/ X 1) H(X 1, X 2, X 3) = H(X 1)+H(X 2, X 3/ X 1) = H(X 1)+H(X 2/ X 1)+H(X 3/ X 2, X 1) ? H(X 1)+H(X 2) +H(X 3) … 证毕。 2.请给出信源编码器的主要任务以及对信源编码的基本要求。 解：信源编码器的主要任务是完成输入消息集合与输出代码集合之间的映射。对信源编码如下基本要求： （1）选择合适的信道基本符号，以使映射后的代码适应信道。例如，ASCII码选用了16进制数。 （2）寻求一种方法，把信源发出的消息变换成相应的代码组。这种方法就是编码，变换成的代码就是码字。 （3）编码应使消息集合与代码组集合中的元素一一对应。 解：平均码长界定定理：若一个离散无记忆信源X，具有熵H(X)，对其编码用D种基本符号，则总可以找到一种无失真信源编码，构成单义可译码，使其平均码长满足 平均码长界定定理的物理意义编码所追求的，是在单义可译前提下寻求尽可能小的平均码长平均码长