暨南大学 信息论与编码 第5章-3-XSJ.pptVIP

信源编码 第5章 5.1 编码的定义 5.2 无失真信源编码 5.3 限失真信源编码 5.4 常用信源编码方法简介 限失真信源编码定理 在本章一开始我们就分析了在很多实际信源中,特别在模拟的连续信源中,无失真要求是完全没有必要的,而且也是达不到的。 在实际中限失真信源是具有现实意义的 限失真信源编码定理 限失真信源编码定理： 设离散无记忆信源X的信息率失真函数为R(D) , 当信息率 R＞R(D)时,只要信源序列长度 L 足够长,一定存在一种编码方法,其译码失真小于或等于 D+ε,ε为任意小的正数； 反之,若R＜R(D) ,则无论采用什么样的编码方法,其译码失真必大于D。 如是二元信源,则对于任意小的ε＞0,每一个信源符号的平均码长满足如下公式： 常用信源编码 香农编码、费诺编码、哈夫曼编码主要是针对无记忆信源。 当信源有记忆时上述编码效率不高； 游程编码对相关信源编码更有效； 香农编码、费诺编码、哈夫曼编码属于无失真信源编码； 游程编码属于限失真信源编码。 游程编码 游程： 数字序列中连续出现相同符号的一段。 二元序列的游程：只有“0”和“1”两种符号。 连“0”这一段称为“0”游程,它的长度称为游程长度L(0)； 连“1”这一段称为“1”游程,它的游程长度用L(1)表示。 游程编码 二元独立序列游程长度概率 若规定二元序列总是从“0”开始,第一个游程是“0”游程,