信息论课件-信源编码.pptVIP

[例]：有一个离散无记忆信源，S:{s1,s2}, P(S):{0.2, 0.8},其原始信源熵为：H(S)=1/5log5+4/5log(5/4)=0.72193 bit/信源符号 用二元信道码元符号A:{0,1}进行编码，得到码字W:{W1=0, W2=1},这时的平均码长为： L=0.2×1+0.8×1=1 信道码元符号/信源符号。 这时的信道传信率： R=H(S)/L=0.72193 比特/信道码元符号。 对这个信源进行二次扩展，得到S2，对其进行二元编码，得W:{W1,W2,W3,W4}。 这时的平均码长为： L2=(16/25)×1+(4/25)×2+(4/25)×3+(1/25)×3=37/27 信道码元符号/2个信源符号 则相应的原始信源每个信源符号的平均码长 L=L2/2=37/50 信道码元符号/信源符号 这时的信道传信率为 R=H(S)/L=0.72193/(37/50)=0.97 比特/信道码元符号。 可以看到：经过信源的二次扩展，编码复杂一点，但使传信率（编码效率）明显提高。 4-5 编码方法 4-5-1Shannon-Fano算法 Shannon编码思想： 由于概率的不均匀，使编码效率下降，因此，可以根据消息状态的概率来确定各码字的编码长度，概率大的编成短码，概率小的编成长码。 最初的Shaanon编码算法是一种简单的按概率编码的方法，对于一个离散无记忆信源，如果其某一状态si的先验概率为p(si)，则就取其码长为： 其实这种方法是满足Kraft不等式的一种直接的应用； 例如：一个离散信源S:{s1,s2,s3,s4} p(S):{1/2,1/4,1/8,1/8}这时有：L1=log2=1; L2=log4=2; L3=L4=log8=3; 利用码树图的方法可以得到其编码： 这个例子可以验证其编码效率为1，即为最佳码。但这种方法对于多数情况下是不能实现最佳码的，而且编码效率比较低。 编码效率为： 这种算法称为Shannon算法；后来提出了一种改进方法为Shannon-Fano算法。 Fano算法的步骤： ①把原始信源的符号按概率从大到小重新排列； ②把信源符号按尽可能概率和相等分为q组，分别分配给a1,a2,…aq码元； ③将每个分组再次分组，直至分完； ④从左至右将分得的码元排列即得码字Wi [算法举例]： 利用Shannon-Fano算法编码： 这时可以用码树图描述： 注意：1，0码元分配是任意的，因此编码的结果是不唯一的； 0/1分配的上下顺序也是不唯一的，能构成不同的唯一可译码； 如果将信源进行N次扩展,可以进一步提高编码效率. 例题中得编码效率为96.6%  信源编码 4-1 离散信源的信源编码 通信的根本目的就是有效而可靠地传输信息。Shannon信息论中的一个重要内容就是它给出了信息传输的有效性和可靠性的极限能力。具体表现为两个编码定理；一般称为Shannon第一编码定理（信源编码定理，有效性编码定理）和Shannon第二编码定理（信道编码定理，抗干扰编码定理）。 编码器(Encoder) 我们前面考虑的信源都是离散化的信源，实际上没有考虑到编码的问题。编码的作用可以分为以下编两点： 一些原始信源的符号不适应信道的传输； 原始信源符号的传输效率很低； 码器可以看作这样一个系统，它的输入端为原始信源u，其符号集为u:{u1,u2,…,un}；ui(i=1,2,…n)；而信道所能传输的符号集为x:{x1,x2,…,xq}；编码器的功能是用符号集x中的元素，将原始信源的符号ui变换为相应的码字符号Wi，(i=1,2,…,n)，所以编码器输出端的符号集为W:{W1,W2,…,Wn}。 u=原始信源符号集； x=码元符号集； W=码字符号集；（码组） 4-2 唯一可译性(Uniquely decodable code) 1. 唯一可译码定义： 如果一个码组的任一有限长的码字序列（一串码字），只能唯一地被译成一个一个码字，则称为唯一可译码，也称为异前置码。 例如：u: {u1,u2,u3}; x:{0,1}; W: {w1=0, w2=10, w3=11}, 为单义可译码。当接收码字序列为：10011001111 时，可以唯一地译为：w2,w1,w3,w1,w1,w3,w3; 如果码字集合为：W:{0,01,1} 则为非单义可译码。 当接收码字序列为：001 时，可以译为：w1,w1(w2) 2. 非续长码定义 如果一个码组中的任一个码字都不是另一个码字的续长，或者说，任何一个码字后加上若干码元后都不是码组中另一个码字。则称为瞬时可译码，也