电子科大信息论与编码第4章 离散信源无失真编码.pdf

第4章 离散信源无失真编码 信源发出的消息需要经信道传输才能发挥作用， 而对于传输来说，现在二进制信号最具优势。 为了满足信道特性，往往需要将n元的信源符号 序列变换为m元(现在一般为二元) 的信源码序 列，这一过程就是信源编码。 信源 信道 信道 信源 信源 信道 信宿 编码 编码 译码 译码 噪声 信源编码的问题是： ①怎样保证编码和译码过程不丢失信息，即怎样 实现无失真编码？ ②怎样有效地利用码字的每一个比特携带信息， 即在编码过程中怎样用最少的比特数去表示信源 的信息熵？ 解决了这些问题后，介绍几种无失真编码的具 体方法。 一、无失真编码的基本思路 单符号离散信源： ⎡ X ⎤ ⎧x1 x2 x3 x4 ⎫ ⎢ ⎥ ⎨ ⎬ P(X) 0.5 0.3 0.15 0.05 ⎣ ⎦ ⎩ ⎭ 其信息熵 4 H(X) =− p(x )logp(x ) ∑ i i i 1 =−0.5log0.5 −0.3log0.3 −0.15log0.15 −0.05log0.05 ≈1.648(bit / symbol ) 要做到无失真编码，就要保证符号元与码字 一一对应，此时用码序列表示的信源信息熵 保持不变。 最简单的无失真编码是对信源符号进行4-2进 制变换，即 x1 →00, x2 →01, x3 →10, x4 →11 该编码的码长K=2 ，码字的每一个比特携带信 息的效率即编码效率 H(X) 1.648 η ≈82.4% K 2 码字的比特数中约有17.6%未携带信息， 属于冗余比特，传输这种码序列效率不高。 为了压缩比特数，可以考虑对信源符号进行 不等长编码，如 x1 →0, x2 →1, x3 →00, x4 →01 但该编码不能实现无失真译码，即不能保证 符号元与码字的一一对应。 一种能保证符号元与码字一一对应的不等长 编码为 x1 →0, x2 →10, x3 →110, x4 →111 其平均码长 K 0.5 ×1+0.3 ×2 +0.15×3 +0.05 ×3 1.7 编码效率 H(X) 1.648 η ≈96.9% K 1.7 与第一种编码相比，码字压缩了0.3个比特， 编码效率提高了14.5%。 进一步，如果对该信源的二次扩展信源 ⎡ 2 ⎤ x x x x x x x x x x x x x x x x X ⎧1 1 1 2 1 3 1 4 2 1 2 2 2 3 2 4 ⎢ 2 ⎥ ⎨ P(X ) 0.25 0.15 0