信息论习题集.docxVIP

信息论习题集 一、填空题 1、 人们研究信息论的目的是为了 高效 、 可靠 安全地交换和利用各种各样的信息。 2、单符号离散信源输出的消息一般用 随机变量 描述，而符号序列离散信源输出的消息一般用 随机矢量 描述。 3、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和。 4、连续信源或模拟信号的信源编码的理论基础是 限失真信源编码定理 。 5、必然事件的自信息是 0 ，不可能事件的自信息量是 ∞ 。 6、信 道 的 输 出 仅 与 信 道 当 前 的 输 入 有 关 ， 而 与 过 去 输 入 无 关 的 信 道 称 为无记忆 信道。 7、若纠错码的最小距离为{ EMBED Equation.3 | d 个差错。 ，则可以纠正任意小于等于 t= -1 8、必然事件的自信息量是 0 ，不可能事件的自信息量是 ∞ 。 9、一信源有五种符号{a， b， c， d， e}，先验概率分别为 =0.5，=0.25，=0.125，==0.0625。符号“a”的自信息量为 1 bit，此信源的熵为 1.875 bit/符号。 10、已知某线性分组码的最小汉明距离为 3，那么这组码最多能检测出 2 个码元错误，最多能纠正 1 个码元错误。 11、克劳夫特不等式是唯一可译码 存在 的充要条件。{00 ， 01 ， 10 ， 11} 是否是唯一