信息论第三章_1.pdf

第3章 离散信源无失真编码 wn@uestc.edu.cn University of Electronic Science and Technology of China Page 1 信源的两个重要问题： (1) 信源输出的信息量的计算问题 ——熵 (2) 更有效的表示信源输出的问题？ ——表示形式的变换？ University of Electronic Science and Technology of China Page 2 信源发出的消息需要传输或存储才能发挥作用，而 对于传输或存储来说，二进制信号应用最为广泛。 因此，为了满足信道特性，往往需要将n元的信源 符号序列变换为m元(现在一般为二元)的信源码序 列。 信源编码的定义： 用能够满足信道特性，或者说适合于信道传输 的符号序列——一般称为码序列，来代表信源 输出的消息。 University of Electronic Science and Technology of China Page 3 信源编码的问题是： ①怎样保证编码和译码过程不丢失信息，即 怎样实现无失真编码？ ②怎样有效地利用码字的每一个比特去携带 信息，即在编码过程中怎样用最少的比特数 去表示信源消息？ ③无失真编码的具体方法？ University of Electronic Science and Technology of China Page 4 3.1无失真编码的基本思路 先看一个单符号离散信源无失真编码的例子： ?X ?? xx12 x 3 x 4? ??= ?? ?PX( ) ?? 0.5 0.3 0.15 0.05? 其离散熵 4 H() X= ?∑ Px ()log()ii2 Px i=1 =???0.5log22 0.5 0.3log 0.3 0.15log 2 0.15 ? 0.05log 2 0.05 ≈1.648(bit / symbol ) University of Electronic Science and Technology of China Page 5 方案1： 最直观的无失真编码是对信源符号进行如下 变换，即 xxxx1234→→→→00, 01, 10, 11 该编码的码长K=2，码字的每一个比特携带信 息的效率即编码效率 HX( ) 1.648 η = = ≈ 82.4% K 2 码字的比特数中约有17.6%未携带信息， 属于冗余比特，传输这种码序列效率不高。 University of Electronic Science and Technology of China Page 6 方案2： 为了???缩比特数，可以考虑对信源符号进行不 等长编码，如 xxx1→0, 23 →→ 1, 00, x 4 → 01 但该编码不能实现无失真译码，即不能保证 符号元与码字的一一对应。 University of Electronic Science and Technology of China Page 7 方案3： 一种能保证符号元与码字一一对应的不等长 编码为 xx12→→0, 10, x 3 → 110, x 4 → 111 其平均码长 K =0.5 ×+ 1 0.3 ×+ 2 0.15 ×+ 3 0.05 ×= 3 1.7 编码效率 HX( ) 1.648 η = = ≈ 96.9% K 1.7 与第一种编码相比，码字压缩了0.3个比特， 编码效率提高了14.5%。 University of Electronic Science and Technology of China Page 8 方案4： 进一步，如果对该信源的二次扩展信源 ??X 2 ? xx xx xx xx xx