信息论05.pptVIP

第三章 信源熵率、冗余度与冗余度压缩编码 定长编码定理：信源信息压缩 例： 编码效率 译码差错率为 则 二进制码，这样编码需要码字的长度 存储和处理难度大。 解决办法：采用变长编码。 定长编码的意义 证明信源冗余度的可压缩性，给出了无失真数据压 缩的理论极限：信源的信息熵。压缩到小于这个极限 值，无失真做不到。 信源编码信息率 编码效率 无失真数据压缩的理论极限 5. 离散无记忆信源的变长编码 § 5.1 变长编码的基本概念 译码问题 唯一可译码（单义可译码) 唯一可译码 任意一串有限长度的码 字母序列只能被唯 一地 译成所对应的信源字母 序列。 前缀码 即时码：唯一可译码，译码时无需参考后续的码 符号即可作出译码判断 前缀码：码中没有码字是任意其他码字的前缀 前缀码 变长码分类 前缀码的树图设码字母表的大小为 J，则所有不同长度的码字可表示为 层 J 叉满树： § 5.2 Kraft定理 信源 携带的信息量： 源字母、码字母表： 码长： Kraft不等式 设含有 K 个字母的信源，用 J 个字母的码字母表 进行变长编