信息论与编码复习new.docVIP

填空 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 自信息量的单位一般有 比特、奈特和哈特 。 必然事件的自信息是 0 。 不可能事件的自信息量是 ∞ 。 两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 离散平稳有记忆信源的极限熵，。 对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a） 。 平均功率为P的高斯分布的连续信源，其信源熵，Hc（X）=。 对于限峰值功率的N维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。 对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。 若一离散无记忆信源