信息论习题集new.docVIP

信息论概念复习题 一、填空 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 7、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 8、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 9、自信息量的单位一般有 比特、奈特和哈特 。 10、必然事件的自信息是 0 。 11、不可能事件的自信息量是 ∞ 。 12、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 13、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 14、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 15、离散平稳有记忆信源的极限熵，。 16、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 17、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a） 。 18、平均功率为P的高斯分布的连续信源，其信源熵，H