第四章 离散无记忆信源无失真编码..ppt

第四章 离散无记忆信源无失真编码;无失真信源编码：对信源的冗余度进行压缩，不改变信源熵，又称冗余度压缩编码，保证码元序列经译码后能无失真地恢复成信源符号序列。其作用可归纳为 （1）符号变换：使信源的输出符号与信道的输出符号相匹配 （2）冗余度压缩：使编码之后的新信源概率分布均匀化，信息含量效率等于或接近于100％;4.1 信源编码概论;码或码字集：所有的码字组成的集合W 码长：码字wi所含码元的个数，记为li 定长编码：所以码字均有相同的码长l，对应的码称为定长码 变长编码：不要求码字有相同码长，对应的码称为变长码 平均码长：对码W中所有的码长求统计平均，得平均码长;对其单个符号进行二进制编码，即码元集合为X={0,1}。;信源编码所用的码元集实际就是信道的输入符号集，码字是码元组成的序列，因此能够送给信道传送。信源编码的符号变换功能实质上就是将信源符号序列转换成信道符号序列;二、信源编码的输出;1、将信源编码器输出视为新信源W 信源符号ui与码字wi一一对应： P(wi)=P(ui) i=1,2,…,q 编码器的输出概率分布与输入概率分布相同，故编码前后的熵保持不变： H(W)=H(U) bit/码字或bit/符号;编码效率ηc：编码后的实际信息率与编码后的最大信息率之比;4.2 码的唯一可译性;U ;5、非续长码：任一码字都不是另一个码字的续长(加长)，如W4;W5虽唯一可译，但非及时可译。例如“01”是W5的码字，但译码器收到“01”时不能将其视为码字而及时译码，还要看后面出现的码元再作决定；如果接下来出现“0”，就把前面的“01”当作码字译码；如果接下来出现“1”，则还要等下一个码元出现再作决定。各中码的关系如下图所示：;4.2.2 码树和Kraft不等式;码树上任一节点都对应一个码字，组成该码字的码元就是从树根开始到该节点所经过的树枝（或码元）。 若码的所有码字处于终端节点，则该码为非续长码（a、b两图），图c所示的为续长码W5。 W4是非续长码，W5是续长码，尽管二者均为唯一可译码，且平均码长相同，但选择W4可做到及时可译，W5不能做到及时可译。因此，编码时只考虑非续长码。非续长码是唯一可译码的子集，不但唯一可译，而且即时可译;定理4.1 （非续长码的存在性定理） 对于任一r进制非续长码，各码字的码长li，i=1,2,…,q，必须满足Kraft不等式：;（2）证明满足Kraft不等式的码长集合可构造出非续长码。设码长满足l1≤ l2≤ …≤ lq=l 以一个所有分支都延伸到第l阶的r进制整树为基础，通过砍树枝来;说明：定理4.1是非续长码的存在性定理。不满足Kraft不等式的码肯定不是非续长码，而满足Kraft不等式的码不一定是非续长码。 只是根据满足Kraft不等式的码长集合{l1,l2,…,lq}可构造出一个含有q个码字的非续长码。;4.3 定长编码定理和定长编码方法;整理可得：;二、（定长无失真编码定理）定理4.2 用r元符号表对离散无记忆信源U的N长序列进行定长编码，N长符号序列对应的码长为lN，若对于任意小的正数ε,有表达式;解释： （1）码长的界 记信源单个符号对应的定长码码长为l，由式(4-3-3)可知，要做到无失真编码，必须有;（2）定长编码的效率为;例4.2 DMS为;四、引入失真，提高编码效率 式(4-3-3)限定了定长编码码长的最小值，因此最佳的定长编码效率为：;例4.3 对例4.2所给的信源符号序列进行二进制编码，要求编码效率η c=90%，允许的差错率为δ 10-6 解：例4.2已经求出信源的熵H(U)=63/32，自信息量的方差为;4.4 变长编码定理;定理4.3 （无失真变长编码定理）用r元符号表对离散无记忆信源U的N长符号序列进行变长编码，记N长符号序列对应的平均码长为;（1）先证明平均码长的下界式（4—4—1），这只须证明;再根据Kraft不等式和概率的完备性质，有;（4－4－5）;由此可得编码效率的极限为;4.5 变长编码方法;（5）按上述步骤构造一个码树，从树根到端点经过的树枝即为码字;构造霍夫曼编码的特点： 霍夫曼构造了一个码树从最上层的端点开始构造，直到树根结束，最后得到一个横放的码树，因此，编出的码为非续长码 霍夫曼编码采用概率匹配方法来决定各码字的码长，概率大的符号对应短码，概率小的符号对应长码，从而使平均码长最小 每次对概率最小的两个符号求概率之后形成缩减信源时，就构造出两个树枝，由于给两个赋码元时是任意的，因此，码字不唯一;符号序列有失真定长编码后，新信源X的冗余度例4.3为;（2）可使码元概率均匀化;霍夫曼编码