信息论与编码技术无失真信源编码定理.pptxVIP

信息论与编码技术第4章 无失真信源编码定理;本章介绍对离散信源进行无失真信源编码的要求、方法及理论极限，并引出香农第一定理。进一步加深对熵的物理意义的理解;;5.1 编码器 5.2 几个概念 5.3 等长码 5.4 渐进等分割性和??典型序列 5.5 等长信源编码定理 5.6 变长码 5.7 变长信源编码定理;编码的实质 是对信源的原始符号按一定的数学规则进行的一种变换， 以码字代替原始信源符号，使变换后得到的码符号接近等概率分布，从而提高信息的传输有效性;5.1 编码器;5.1 编码器;5.1 编码器;5.1 编码器;5.1 编码器;各种码的定义;;5.非奇异码： 一组码中所有的码字都不相同。即 ;7.码的N次扩展码 码C把信源S中的符号si一一变换成码C中的码字Wi,则码C的N次扩展码是所有N个码字组成的码字序列的集合。 若码 其中 ;可以求得信源S的任意N次扩展码。 码1的二次扩展码: 1)信源S的二次扩展信源 S2={??1=s1s1,??2=s1s2,??3=s1s3,…??16=s4s4}，共qN=42=16个符号 2）S的二次扩展码 ;;;;;;;码树 平均码长 信息传输率 编码效率 克劳夫特不等式;1.码树 通常情况下可以用码树来表示各个码字的构成，如果码字序列符号为m进制的，可以用m个符号的码树来构造码字，每个码树有一个树根A,树根有m个树枝，树枝的尽头称为叶节点,中间每个节点生出的树枝的数量等于码符号的数量m，从而形成m进制的码树。;图4-3（a）二进制码树;5.2.1 几个基本概念-码树;5.2.1 几个基本概念-码树;5.2.1 几个基本概念-码树;5.2.2 几个基本概念-平均码长;5.2.1几个基本概念-平均码长;编码后信息传输率R 又称为码率，是指编码后每个码元载荷的信息量。单位为“比特/码元”或“比特/码符号”。;【例4.2-1】中信源熵H(x)＝1.75比特/符号，方案1编码后每个码元载荷的平均信息量：;编码效率：表示编码后每个码元的实际信息量和能承载的最大信息量的比值。 假设码元为m进制，即可取m种可能值，则每个码元所能承载的最大信息量为log m 比特/码元： ;33;5.2.5 几个基本概念-Kraft不等式;5.2.5 几个基本概念-Kraft不等式;5.2.5 几个基本概念-Kraft不等式; ;码字{0，10，010，111}虽然也满足克劳夫特不等式，却它并不是唯一可译码。 这是因为，克劳夫特不等式并不能作为判别一种码是否为即时码或唯一可译码的依据。例如，码组中有长度相等的两个码字，则这两个码字无论是否相同，都有可能使不等式成立，然而，当这两个码字相同时，它们一定不是唯一可译码。因此，唯一可译码一定满足克拉夫特不等式，反之，满足克拉夫特不等式的码不一定是唯一可译码。;特点：一组码中所有(码字的)码长都相等 无失真信源编码条件： 信源符号si（i=1,2,…,q）与码符号序列Wi一一对应。（唯一可译码） 信源的任意N次扩展码也应该是唯一可译码。 例：某信源X有8种等概率符号，求二元等长码长度。 信源序列熵达到最大值，由最大熵定理H(X)≤log m ， 可以用3个二进制码元对该信源进行无失真编码.即码长为K=3 码元/符号;5.3 等长码;5.3 等长码; B1=w1w1…w1 B2=w1w1…w2 B =wqwq…wq ;5.3 等长码;5.3 等长码;5.3 等长码;我们仍以英文电报为例，在考虑了英文字母间的相关性之后，我们对信源作L次扩展，在扩展后形成的新信源（也就是句子）中，有些句子是有意义的，而有些句子是没有意义的，我们可以只对有意义的句子编码，而对那些没有意义的句子不进行编码，这样就可以缩短每个信源符号所需的码长。 第5.5中的等长信源编码定理给出了进行等长信源编码所需码长的极限值。 ;大数定律： 对应独立等分布的随机变量X1 X2… Xn,当n足够大时， 接近于其数学期望值E(X). S1 S2… SN统计独立等同分布的随机变量，联合概率为P(S1 S2… SN),N足够大时， (-log P(S1 S2… SN))/N接近于信源熵H(S), P(S1 S2… Sn)接近于2-NH(S).;定理5.1(渐进等分割性AEP) 若随机序列S1 S2… SN中Si (i=1,2,…,N)相互统计独立并且服从同一概率分布P(s)， 又 则 以概率收敛于H(S). ; 定义（