第五章 信源编码郭里婷.pdfVIP

《信息论与编码》 第五章 信源编码定理和方法 福州大学物理与信息工程学院 郭里婷 物理与信息工程学院 郭里婷 1 2012-11-5 第1节 编码的作用和分类 一、信源编码的作用 1．符号变换 2 ．减小冗余 物理与信息工程学院 郭里婷 2 2012-11-5 第1节 编码的作用和分类 二、信息论的主要内容 1．无失真编码定理：第一极限定理 2 ．限失真编码定理：第三极限定理 3．信道编码定理：第二极限定理 物理与信息工程学院 郭里婷 3 2012-11-5 第1节 编码的作用和分类 三、编码的定义和类型 （一）编码的模型和定义 X Y i j 信源 信源编码器 信道 码表 分组码：信源序列X ，按照一个固定的码表，映射成码字Y ?? i j 码? ??非分组码：没有码表 物理与信息工程学院 郭里婷 4 2012-11-5 第1节 编码的作用和分类 信源序列X X , X , , X , X ∈ a ,a , ,a i 1 2 L l 1 2 n 信源符号 : X l 编码序列 码字 Y Y , Y , , Y , Y ∈ b , b , , b j 1 2 K L k 1 2 m 码集 码 ： , , , Y Y1 Y2 Y L n 码元 : b j 码长：K （码元/序列）。 L i ?定长码：K 相同 ? L i ? ?变长码：K 不全相同 ? L i ?定长码：K K K ? L L i L K 平均码长： （码元/序列）。 L ? 变长码：K ∑p X K ? L i L i ? i ′ ′ 每个符号的平均码长：K （码元/符号）。K K / L L L L 物理与信息工程学院 郭里婷 5 2012-11-5 第1节 编码的作用和分类 例1：X ∈ A ,B ,C ,D ,Y ∈ 0,1 l k 定长码 ，变长码 ? L 1, ? L 1 ? ? X A , Y 00 ; X A , Y 0 ; ?? 1 1 ?? 1 1 ?X2 B , Y2 01 ; ?X2 B , Y2 01 ; ? ? X C , Y 10 ; X C , Y 10 ; ? 3 3 ? 3 3 ? ? X D , Y 11 ; X D , Y 111 ; ? 4 4 ? 4 4 ? L 2, 定长码 ? X AA , Y 0000 ; X AD , Y 0110 ; ?? 1 1 4 4 ?X AB , Y 0010 ; X BA , Y 0001 ; 2 2 5 5 ? X AC , Y 0100 ; X BB , Y 0011 ; ? 3 3 6 6 ?? 物理与信息工程学院 郭里婷 6 2012-11-5 第1节 编码的作用和分类 三、编码的定义和类型 （二）编码类型 1．非奇异码和奇异码 信 源 各符号 码1 码2 码3 码4 符号 概率 u 1/2 0 0 1 1 1 u 1/4 11 10 10 01 2 u 1/8 01 00 100 001 3 u 1/8 11 01 1000 0001 4 物理与信息工程学院 郭里婷 7 2012-11-5 第1节 编码的作用和分类 2 ．惟一可译码和非惟一可译码 惟一可译码：任意有限长的码元序列，能被唯一地分 割成一个个的码字；反之为非惟一可译码 例2： 码字集合 码 0,10,00,01 码字集合 码 0，，10 11 物理与信息工程学院 郭里婷 8 2012-11-5 第1节 编码的作用和分类 惟一可译码存在的充要条件： n ?K 各码字的长度为K ,满足Kraft不等式： m i ≤1 i ∑ i 1 ?注意：Kraft不等式不是判断是否是惟一可译码的充要条件 例3：判断是否存在码长分别为K 1 1, K 2 2, K 3 2, K 4 3的二进制惟一可译码。 解：依题意，m 2 4 ?K 4 ?K ?1 ?2 ?2 ?3 9 又因为 m i 2 i 2 +2 +2 +2 1, 不满足Kraft不等式， ∑ ∑ i 1 i 1 8 所以不存在符合上述要求的惟一可译码。 物理与信息工程学院 郭里婷 9 2012-11-5 第1节 编码的作用和分类 例4：判断是否存在码长分别为K1 1,K 2 2,K 3 3,K 4 3的二进制惟一可译码。 解：依题意，m 2 4 4 ?K ?K ?1 ?2 ?3 ?3 又因为 m i 2 i 2 +2 +2