信息论及编码公式总结.pdfVIP

第一章 绪论 第二章 信源与信息熵 离散信源的信息量 自信息量 条件自信息量 联合自信息量 单符号离散信源熵 熵的性质 1.非负性 2.对称性 3.确定性 4.扩展性 5.连续性 二元联合信源的共熵与条件熵 二元联合信源的共熵 二元联合信源的条件熵 独立熵、联合熵与条件熵的关系 独立熵、联合熵与条件熵的物理意义 离散无记忆信源N 次扩展信源 离散信道的平均交互信息量 离散信道三种描述方法 1.概率空间描述 2.转移矩阵描述 3. 图示法描述 离散信道的互信息量 互信息量 性质 1.互易性-对称性 2. 3.互信息量可正可负 4.任何两个事件之间的互信息不可能大于其中任何一个事件的自信息量 5. 离散信道的平均互信息量 平均互信息量与联合熵、独立熵的关系 一般关系 X 和Y 相互独立时 X 和Y 一一对应时 数据处理定理 信息不增性 连续信源的熵 连续信源 均匀分布： 高斯分布： 指数分布： 连续信源的最大熵定理 输出峰值受限时的最大熵（瞬时功率受限/幅度受限）： 当概率密度分布为均匀分布时，信源具有最大熵 输出平均功率受限时的最大熵： 当其概率密度函数为高斯分布时，具有最大熵 均值受限时的最大熵： 其输出信号幅度呈指数分布时连续信源X