讲义41信源编码..doc

《信息论》课程讲义 PAGE 1 4 第四章 信源编码 4-1 离散信源的信源编码 通信的根本目的就是有效而可靠地传输信息。Shannon信息论中的一个重要内容就是它给出了信息传输的有效性和可靠性的极限能力。具体表现为两个编码定理；一般称为Shannon第一编码定理（信源编码定理，有效性编码定理）和Shannon第二编码定理（信道编码定理，抗干扰编码定理）。 4-1-1 编码器(Encoder) 我们前面考虑的信源都是离散化的信源，实际上没有考虑到编码的问题。编码的作用可以分为以下编两点： 一些原始信源的符号不适应信道的传输； 原始信源符号的传输效率很低； 码器可以看作这样一个系统，它的输入端为原始信源S，其符号集为S:{s1,s2,…,sn}；si(i=1,2,…n)；而信道所能传输的符号集为A:{a1,a2,…,aq}；编码器的功能是用符号集A中的元素，将原始信源的符号si变换为相应的码字符号Wi，(i=1,2,…,n)，所以编码器输出端的符号集为W:{W1,W2,…,Wn}。 S=原始信源符号集； A=码元符号集； W=码字符号集；（码组） 编码器 编码器 S:{s1,s2,…sn} W:{W1,W2,…Wn} A:{a1,a2,…aq} Wi=[w1,w2,…wLi] wi∈{a1,a2,…aq} Li为码字Wi的码元个数，称为码字Wi的码字长度，简称码长。 q=2时，称为二元编码，否则称为q元编码。 4-1-2 单义可译码(Uniquely decodable code) 单义可译码定义： 如果一个码组的任一有限长的码字序列（一串码字），只能唯一地被译成一个一个码字，则称为单义可译码，也称为异前置码。 例如：S: {s1,s2,s3}; A:{0,1}; W: {w1=0, w2=10, w3=11}, 为单义可译码。 当接收码字序列为：10011001111 时，可以唯一地译为：w2,w1,w3,w1,w1,w3,w3; 如果码字集合为：W:{0,01,11} 则为非单义可译码。 当接收码字序列为：10011001111 时，可以译为：x,w1,w1(w2)…… 瞬时可译码（非续长码）定义： 如果一个码组中的任一个码字都不是另一个码字的续长，或者说，任何一个码字后加上若干码元后都不是码组中另一个码字。则称为瞬时可译码，也称为非续长码。 例如：W：{0，10，100，111}不是瞬时可译码，100为10的续长。 瞬时可译码一定是单义的，单义可译码却不一定是瞬时可译码。 例如：W：{0，01}是单义的，但不是瞬时可译码。 单义可译码定理： 设原始信源符号集为S:{s1,s2,…sn}，码元符号集为A:{a1,a2,…,aq}，码字集合为W:{W1,W2,…Wn}，其码长分别为L1,L2,…,Ln；则单义可译码存在的充要条件为码长组合满足Kraft不等式，即 Kraft不等式不仅是单义可译码的充要条件，也是瞬时可译码的充要条件； 这里所说的充要条件是对于码长组合而言，而不是对于码字本身而言，就是说：满足Kraft不等式的码长组合一定能构成单义码，单义码的码长组合一定满足Kraft不等式。 有些码字的码长组合满足Kraft不等式，但不是单义码。（编码方法不对） 下面看一个例子： n=4, q=2 A:{0,1} 信源符号 W1 W2 W3 W4 W5 W6 s1 0 0 0 0 0 00 s2 01 10 11 10 10 01 s3 011 110 100 110 11 10 s4 0111 1110 110 111 110 11 W1:满足Kraft不等式，但只是单义的，不是瞬时可译码；码长组合为1,2,3,4； W2:满足Kraft不等式，是单义的，也是瞬时可译码；码长组合为1,2,3,4； W3:满足Kraft不等式，不是单义的，也不是瞬时可译码；码长组合为1,2,3,3； W4:满足Kraft不等式，是单义的，也是瞬时可译码；码长组合为1,2,3,3； W5:不满足Kraft不等式，不可能为单义的；码长组合为1,2,2,3； W6:满足Kraft不等式，是单义的，也是瞬时可译码；为等长码； 用码树图构成瞬时可译码 从根开始，画出q条分支，任选一个分支作为W1； 在另一个分支上再分出q条分支，任选一个分支作为W2； 继续进行，直至结束； 从根到各端点，所经过的状态即为码字； 例如：A:{0,1}, q=2, W:{W1,W2,W3,W4} 根 根 0