第四章 信源编码——4-1 离散信源的信源编码.pptVIP

Chapter 4信源编码 4-1 离散信源的信源编码 通信的根本目的就是有效而可靠地传输信息。Shannon信息论中的一个重要内容就是它给出了信息传输的有效性和可靠性的极限能力。具体表现为两个编码定理；一般称为Shannon第一编码定理（信源编码定理，有效性编码定理）和Shannon第二编码定理（信道编码定理，抗干扰编码定理）。 编码器(Encoder) 我们前面考虑的信源都是离散化的信源，实际上没有考虑到编码的问题。编码的作用可以分为以下编两点： 一些原始信源的符号不适应信道的传输； 原始信源符号的传输效率很低； 码器可以看作这样一个系统，它的输入端为原始信源u，其符号集为u:{u1,u2,…,un}；ui(i=1,2,…n)；而信道所能传输的符号集为x:{x1,x2,…,xq}；编码器的功能是用符号集x中的元素，将原始信源的符号ui变换为相应的码字符号Wi，(i=1,2,…,n)，所以编码器输出端的符号集为W:{W1,W2,…,Wn}。 u=原始信源符号集； x=码元符号集； W=码字符号集；（码组） 4-2 唯一可译性(Uniquely decodable code) 1. 唯一可译码定义： 如果一个码组的任一有限长的码字序列（一串码字），只能唯一地被译成一个一个码字，则称为唯一可译码，也称为异前置码。 例如：u: {u1,u2,u3}; x:{0,1}; W: {w1=0, w2=10, w3=11}, 为单义可译码。当接收码字序列为：10011001111 时，可以唯一地译为：w2,w1,w3,w1,w1,w3,w3; 如果码字集合为：W:{0,01,1} 则为非单义可译码。 当接收码字序列为：001 时，可以译为：w1,w1(w2) 2. 非续长码定义 如果一个码组中的任一个码字都不是另一个码字的续长，或者说，任何一个码字后加上若干码元后都不是码组中另一个码字。则称为瞬时可译码，也称为非续长码。 例如：W：{0，10，100，111}不是非续长码，100为10的续长。 非续长码一定是唯一的，唯一可译码却不一定是非续长码。 例如：W：{0，01}是唯一可译码，但不是非续长码。 3.唯一可译码定理 设原始信源符号集为u:{u1,u2,…uq}，码元符号集为x:{x1,x2,…,xr}，码字集合为W:{W1,W2,…Wq}，其码长分别为L1,L2,…,Lq；则唯一可译码存在的充要条件为码长组合满足Kraft不等式，即 Kraft不等式不仅是唯一可译码的充要条件，也是非续长码的充要条件； 这里所说的充要条件是对于码长组合而言，而不是对于码字本身而言，就是说：满足Kraft不等式的码长组合一定能构成唯一码，唯一码的码长组合一定满足Kraft不等式。 有些码字的码长组合满足Kraft不等式，但不是唯一码。（编码方法不对） 4.用码树图构成非续长码 从根开始，画出q条分支，任选一个分支作为W1； 在另一个分支上再分出q条分支，任选一个分支作为W2； 继续进行，直至结束； 从根到各端点，所经过的状态即为码字 4.3 平均码长度 如果一个码组的参数满足Kraft不等式，就一定可以构成无噪声信道下的无失真传输，然而，在一个通信系统中，信源编码的主要目的是提高编码效率，即每个码元符号要携带更多的信息量。因此要定义平均码长的概念。 设原始信源的信源空间为: 对此信源用码元符号集x;{x1,x2,…xq}进行编码，得唯一可译码W：{W1，W2，…Wn}。相应得码字长度分别为：Li,(i=1,2,…,n)。则这个信源编码的平均码长为： 这时看一下信息传输效率：每个信道码元所携带的平均信息量。当信源U给定，信源的熵为H(U)，则每个信道码元所携带的平均信息量可以表示为: 平均码长极限定理 若一个离散无记忆信源S的熵为H(S)，对其进行q元编码，A:{a1,a2,…aq}，则总可以找到一种无失真的编码方法，构成唯一可译码，使其平均码长满足： [下界证明]根据平均码长和熵的定义有： 平均码长最小不能小于极限值，H(S)/logq，若小于，则不存在单义可译码； 当下界等号成立时，效率最高时，为 p(si)=q-Li可得： 例如：u:{u1,u2,u3,u4}; P(u):{1/2,1/4,1/8,1/8}时，编码后码长为[1,2,3,3]，这时平均码长将为L=H(u)=1.74 码元/符号。 平均码长大于这个上界当然也可以构成唯一可译码，但实际上总希望码长小； 当一个离散无记忆信源得统计特性确定后，信源熵就确定了，平均编码长度下界也就确定了，编码效率也就确定了，如果进一步提高效率，就要想其它方法。下面得编码定理给出了方法。 4-4 香农编码第一定理 定理一表明当将离散无记忆信源进