信息论与编码复习题.pdfVIP

第二章 复习题 一、填空题 1、信息的 可度量性 是建立信息论的基础。 2、 统计度量 是信息度量最常用的方法。 3、 熵 是香农信息论最基本最重要的概念。 4、事物的不确定度是用时间统计发生 概率的对数 来描述的。 5、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描 述。 6、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生 概率对数的负值 。 7、自信息量的单位一般有 比特、奈特和哈特 。 8、必然事件的自信息是 0 。 9、不可能事件的自信息量是 ∞ 。 10、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 11、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息 与输出消息之间的平均互信息量 趋于变小 。 12、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 m 13、对于n元m阶马尔可夫信源，其状态空间共有 n 个不同的状态。 14、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在 的不确定性就 越大 ，获得的信息量就越小。 15、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号 的统计不均匀