武汉理工大学信息理论与编码第四章 离散无记忆信源无失真编码（一）.pdfVIP

第4章离散无记忆信源无失真编码 4.1 信源编码概论 4.2 码的唯一可译性 4.3 定长编码定理和定长编码方法 4.4 变长编码定理 4.5 变长编码方法 4.6 几种实用的无失真信源编码 4.1 信源编码概论 1、基本概念 U 信源 W 信道 X 信 Y 信道 ˆ 信源 ˆ 信 W U 信 源 编码 编码 道 译码 译码 宿 噪声 等效无噪信道 •传输之前的两次变换：信源编码、信道编码。 •传输之后的两次反变换：信道译码、信源译码。 •采取适当信道编码和译码措施后，可使信道传 送的差错率降到允许的范围之内，因此，图中 虚框部分可近似地视为一个等效的无损确定信 道，简称为无噪信道，这是我们讨论信源编码 2 U 信源 W W 信源 ˆ 信 无损确定信道 U 信 源 编码 （等效） 译码 宿 •信源编码分类：无失真编码、有失真编码。 •无失真编码：只对信源的冗余度进行压缩，不改 变信源的熵，又称冗余度压缩编码，它能保证码 元序列经译码后能无失真地恢复成信源符号序列. •有失真编码：又称熵压缩编码,将在第6章讨论。 无失真信源编码的作用： （1 ）符号变换：使信源的输出符号与信道的输 入符号相匹配； （2 ）冗余度压缩：使编码之后的新信源概率分 布均匀化，信息含量效率等于或接近于100%。 3 2、编码器模型 信 U 编码器 W 码W {u ,u , ,u } f {w ,w , ,w } 码字集W 源 1 2 q 1 2 q X 码字wi {x ,x , ,x } 信源编码f ：一一对应 1 2 r 码元集X 码元xi f :u w , i 1,2, ,q 的变换。 i i •码长l ：码字w 所含码元的个数。单位：码元/符 i i 号 •定长码(FLC, Fixed Length code) ：码中所有码字 均有相同的码长l ；否则称为变长码(VLC, Variable q q Length code)。 l P (w )l P (u )l 码元/符号 i i i i i 1 i 1 •平均码长： q 定长码：l