第二节 无失真信源编码2.ppt

一、等长码基本问题 一、等长码基本问题 一、等长码基本问题 一、等长码基本问题 例3：设信源 2、根据定义判断 * * 2．2．2 变长码 若要实现无失真编码，不但要求信源符号与每个符号的码字一一对应，而且要求码符号序列与信源符号序列也一一对应。也就是要求所编的码为惟一可译码。 我们首先分析等长编码，再分析变长编码，以做比较。 等长码特点： C2={000,001,100,101,111}，l2=3 code/sig 要求： 问题： 例1． C1={00,01,10,11,10}，l1=2 code/sig (2)高效 可能的码字数≥消息数 对基本信源编码： 对N长源编码： 消息数 码字数：rl ∴ r l≥q (l≥logrq) （对例1，q=5, ∴要求：2l≥5，即l ≥ 3） ∴ r l≥qN (l/N≥logrq) 则，q=53=125种128=27 ∴ l=7 code/3_sigs 平均码长：l/N=7/3=2.33 code/sig l2 例1（续） S的三次扩展： ※? 等长码码长要求 l/N?logrq（保证唯一可译码，无失真） ※?? logrq为下限 ※??扩展信源编码的平均码长基本源编码的平均码长 例2．英文源S：{26个字母+空格符号} ，q=27 由q=27≤2l，得l≥5 code/sig ∴编码后信息传输率：R=H(S)/l=1.4/5=0.28 bit/code 二元信源[0,1]：H(X)max=1 bit/code H∞(S)=1.4 bit/sig 平均码长太长 则二次扩展信源为： l=2 code/sig L2=2 code/2_sigs l=1 code/sig 信源有记忆时，采用N长源编码，l减小 一、等长码基本问题 二、等长信源编码定理 定理2-1（等长信源编码定理） 一个熵为H(U)的离散无记忆信源，若对信源长为N的符号序列进行等长编码，设码字是从m个字母的码符号集中选取L个码元组成。对于任意? 0，只要满足： 则当N足够大时，可实现几乎无失真编码，即译码错误概率可为任意小。 则不可能实现无失真编码，且当N足够大时译码错误概率近似等于1。 反之，若： ※? 适用于DMS及平稳有记忆信源 ※ 平均码长下限： ※ 基本方法：N长源、变长编码 ※ 对等长编码,若要实现几乎无失真编码, 则信源长度必满足: 二、等长信源编码定理 当 δ≤10-5（即PE10-5） 解：H(S)=0.811 bit/sig 例4．DMS 进行等长编码 则有：η=0.5 得N≥71687 η =0.8 得N≥1146990 η =0.9 得N≥5806641 η =0.96 得N定理2-2：（ Kraft不等式） 设信源符号S=｛s1,…,sN｝,码符号X＝{x1,…,xm }，又设码字W1，W2，… Wn的码长分别为l1，l2，…，ln，则存在惟一可译码的充要条件是： 三、惟一可译码的判断 ※ 码长结构～惟一可译码 1、Kraft不等式 编码码元数目 1、Kraft不等式 ——惟一可译码存在的必要条件 例1．考察： ①l1=1，l2=2，l3=l4=3的二元码 如：C1={1,01,001,000} C2={0,10,110,111} ②l1=1，l2=l3=l4=2的二元码 ∴必存在惟一可译码 ∴ 必不存在惟一可译码 C3={0,00,000,000} 非惟一可译 0001 11 01 11 u3 惟一可译码 非惟一可译码 非惟一可译码 惟一可译码 001 00 00 10 u3 01 11 10 01 u2 1 0 0 00 u1 变长码 等长码 码4 码3 码2 码1 符号 等长码——若为非奇异码，则为唯一可译码； 变长码——码本身及任意次扩展码均非奇异。 树图法 （即时码必为惟一可译码） 尾随后缀法 （尾随后缀集合F中不含任一码字） 0 10 11 00 10 01 0 11 1 0 100 110 011 101 0 1 11 1 例2. C1={0,10,1100,1110,1011,1101} F:{11,00,10,01,0,11,1,100,110,011,101} 10 0 eg:1011001110... 例2. C2={1, 10, 100,1000} 1 10 100 0 00 0