信息论基础 课件 第5章 无失真信源编码.ppt

平均码长=下限值 最佳码 上限的证明： 若Li不是正整数时： 定理 无失真变长信源编码定理：Shannon第一定理 离散无记忆信源S的N次扩展信源SN，其熵为H(SN)，并且编码器的码元符号集为X:{x1,x2,…xr}，对信源SN进行编码，总可以找到一种编码方法，构成惟一可译码，使信源S中每个符号si所需要的平均码长满足： 证明： H(SN)＝N H(S) 当离散无记忆信源S的扩展次数N足够大时，有 即 为不等长信源编码的编码信息率。因此，香农第一定理也可以陈述为： 若 H(S),就存在惟一可译变长编码； 若 H(S), 惟一可译变长编码不存在，不能实现无失真的信源编码。 物理意义： 又称香农第一定理 编码后的码符号信源尽可能为等概分布，使每个码符号平均所含的信息量达到最大 要做到无失真编码，变换每个信源符号平均所需最少的r元码元数就是信源的熵率（以r进制信息量单位测度） 信源的熵率是描述信源每个符号平均所需最少的比特数 变长编码定理－编码效率 变长码编码效率：?衡量各种编码方法的优略，判断是否最佳码。 编码前平均每个信源符号携带的信息量为： 编码后平均每个信源符号携带的最大的信息量为： 定义变长码编码效率为： 另一种理解： 最佳码（极限时）每个信源符号的平均码长为： 某一方法得到的每个信源符号的平均码长为： 定义变长码编码效率为： 比较： 等长编码的编码效率： 变长编码的编码效率： 注意到： 是指每个信源符号所需的平均码长，而 也是平均到每个信源符号的码长，所以它们是一致的，均表示无失真信源编码的效率。 表述2：（无噪信道编码定理） 若信道的信息传输率R不大于信道容量，总能对信源的输出进行适当编码，使得在无损无噪信道上能无差错地以最大信息传输率C传输信息；但要使信道信息传输率R大于C而无差错地传输则是不可能的。 表述1：若R? H(S)，就存在唯一可译变长编码；若R?H(S)，唯一可译变长编码不存在，不能实现无失真编码。 变长信源编码定理 αi P(αi) 码C λi s1s1 0.81 1 1 s1s2 0.09 01 2 s2s1 0.09 001 3 s2s2 0.01 000 3 例:比较 N长源编码的效率。 解：H(S)=0.469 bit/sig 等长编码与变长编码效率比较 与前例相比： 同一个信源，当要求编码效率达到96％时， 等长码需要4100万个信源符号联合编码； 变长码只需2个符号（二次扩展信源）联合编码； 结论：采用变长编码，N不需要很大就可以达到相当高的编码效率，而且可以实现无失真编码。且随着N的增大，编码效率越来越接近于1。 本节内容：阐述如何构造紧致码的编码方法 讨论香农编码、霍夫曼码等的编码方法 证明它的最佳性 讨论其他次优的接近下界的编码方法 最佳码：对于某一个信源和某一码符号集来说，若有唯一可译码，其平均编码长度不大于所有其他唯一可译码的平均编码长度，则该码为最佳码。 5.3 信源编码方法 1 香农编码 香农第一定理指出了平均码长与信源熵之间的关系，同时也指出了通过编码可使平均码长达到极限值。但如何编码呢？定理4.7告诉我们一种编码方法 -----香农编码。 香农编码选择每个码字长度 li 满足: 由定理可知，这样选择的码长一定满足克拉夫特不等式，所以一定存在惟一可译码。 按照香农编码方法编出来的码，可以使其平均码长不超过上界，即： ?????????????????????? 只有当信源符号的概率分布呈现（1/r) a i (a i 是正整数)形式时，平均码长才能达到极限值Hr(S)。 一般情况，香农编码的平均码长不是最短，即编出来的不是紧致码(最佳码)。 香农编码 编码步骤如下： 将信源符号按概率从大到小顺序排列，为方便起见，令 2. 按下式计算第i个符号对应的码字的码长（要取整） 3. 计算第i个符号的累加概率 4. 将累加概率变换成二进制小数，取小数点后li位数作为第i个符号的码字。 例 对如下信源编码: 香农编码 信源符号 符号概率 累加概率 码长 码字 s1 0.20 0 2.34 3 000 s2 0.19 0.2 2.41 3 001 s3 0.18 0.39 2.48 3 011 s4 0.17 0.57 2.56 3 100 s5 0.15 0.74