第4章节 无失真信源编码.pptVIP

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 第4章　无失真信源编码 编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真。 一般称 无失真信源编码定理为第一极限定理； 信道编码定理（包括离散和连续信道）称为第 二极限定理； 限失真信源编码定理称为第三极限定理。 第4章　无失真信源编码 由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。 信源编码的基本途径有两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 第4章　无失真信源编码 信源编码的基础是信息论中的两个编码定理： 无失真编码定理 限失真编码定理 无失真编码只适用于离散信源，对于连续信源，只能在失真受限制的情况下进行限失真编码 本章讨论离散信源编码，首先从无失真编码定理出发，重点讨论以香农码、费诺码和霍夫曼码为代表的最佳无失真码。 4.1 信源编码器 4.1 信源编码器 信源编码是指信源输出符号经信源编码器编码后转换成另外的符号；无失真信源编码：可精确无失真地复制信源输出地消息 考虑信源符号或者信源符号序列，即符号序列xi， xi＝(xi1xi2…xil…xiM)， xil?A={a1，a2，…，ai，…，an} 每个符号序列xi依照固定码表映射成一个码字yi， yi＝(yi1yi2…yil…yiL)， yil?B={b1，b2，…，bi，…，bm} B称为码，L称为码长。 4.1 信源编码器 如下图所示，如果信源输出符号序列长度L＝1，信源符号集A(a1，a2，…，an) 信源概率空间为 码的分类-I (1) 定长码：码中所有码字的长度都相同， 变长码：码中的码字长短不一 码的分类-II (2)非奇异码:若信源符号和码字一一对应的 奇异码:反之。下表码1是奇异码，码2是非奇异码。 单信源符号编码的平均码长 N次扩展信源符号的平均码长 编码后的信息传输率R：编码后平均每个码元载荷的信息量 编码效率：编码后实际信息量和能载荷的最大信息量的比值 即时码：只要收到符号就表示该码字已完整，可以立即译码。即时码又称为非延长码，任意一个码字都不是其它码字的前缀部分，有时叫做异前缀码。 通常可用码树来表示各码字的构成 即时码的码树表示(2) 即时码 即时码码存在的充要条件:各码字的长度Li 应符合克劳夫特不等式： 克劳夫特不等式只是用来说明唯一可译码是否存在，并不能作为唯一可译码的判据。 4.2 无失真信源编码 定长编码定理、变长编码定理 定长编码:码字的长度是定值,且惟一可译码,信源符号集合{a1, a2 ,…,ai ,…,aq}, 码的个数为r，对信源符号编码时，码长满足： 如果对信源的n长符号序列进行编码，则码长应满足： 4.2 无失真信源编码 这种编码的传输效率是很低的，因为没有考虑剩余度。编码后平均每个码字能载荷的最大信息量为(编码信息率): 所谓信息率最小，就是找到一种编码方式使 最小。 无失真信源编码定理研究的内容:最小信息率为多少时，才能得到无失真的译码？若小于这个信息率是否还能无失真地译码 无失真定长信源编码定理 由N个符号组成的、熵为H(S)的无记忆平稳信源符号序列X1X2…XN，用长度为LN的码符号进行定长编码。对任意?0，?0，只要 则当N足够大时，可实现几乎无失真编码，即使译码差错小于?； 反之，当 时，译码差错一定是有限值，而L足够大时，译码几乎必定出错 无失真定长信源编码定理 定长编码定理说明，码字所能携带的信息量大于信源序列输出的信息量，则可以使传输几乎无失真，当然条件是LN足够大。 反之，当 时，不可能构成无失真的编码，也就是不可能做一种编码器，能使收端译码时差错概率趋于零。 时，则为临界状态，可能无失真，也可能有失真。 无失真定长信源编码定理 差错概率满足 ，式中 是随机变量自信息的方差。?为一正数。当 和 均为定值时，只要N足够大，Pe可以任意小。即给定?，当 ，有