信息论基础理论与应用第三版(傅祖芸)第5章讲义.ppt

第5章 无失真信源编码定理 ; 信息通过信道传输到信宿的过程。要做到既不失真又快速地通信，需要解决两个问题： 信源编码: 在不失真或允许一定失真条件下，提高信息传输率. 信道编码: 在信道受到干扰的情况下，增加信号的抗干扰能力，同时又使得信息传输率最大. 最佳编码： 一般来说，抗干扰能与信息传输率二者相互矛盾。而编码定理理论上证明，至少存在某种最佳的编码能够解决上述矛盾，做到既可靠又有效地传输信息。 信源编码： 信源虽然多种多样，但无论是哪种类型的信源，信源符号之间总存在相关性和分布的不均匀性，使得信源存在冗余度。信源编码的目的就是要减少冗余，提高编码效率。;研究方法 研究信源编码时，将信道编码与译码看成是信道的一部分，从而突出信源编码； 研究信道编码时，将信源编码与译码看成是信源与信宿的一部分，从而突出信道编码。; 编码器功能：用符号集X中的元素，将原始信源的符号 变换为相应的码字符号 ，编码器输出符号集为 (码或码书)  称为码字，li 为码字 的码元个数（码字长度，码长）。码字集合C称为码或码书。 ; 若要实现无失真编码，这种映射应是一一对应的可逆映射。;1、二元码与r元码 2元码: 码符号集X={0,1}. 如果将信源通过二元信道传输，必须将信源编成二元码，这是最常用的一种码。 r元码: 码符号集有r个符号的编码。 2、等长码与变长码 等长码: 一组码中所有码字的长度都相同。 变长码: 一组码中所有码字的长度各不相同。;3、非奇异码与奇异码 非奇异码: 一组码中所有码字都不相同。 奇异码: 一组码中有相同的码字。;4、同价码 同价码: 码符号集 中每个码符号所占的传输时间都相同(大多数情况)。 变长码中每个码字的传输时间就不一定相同。 （摩尔斯电报码，点-划 所占传输时间不同） 5、码的N次扩展 若某码 C，它把信源S中的符号 一一变换成码C中的码字 ，则码C的N次扩展码是所有N个码字组成的码字序列的集合B:;码C;[例] 设信源S的概率空间为：;信源S的二次扩展信源：;6、唯一可译码(单义可译码） 由码构成的任意一串有限长的码符号序列只能被唯一的译成所对应的信源符号序列。 否则,就为非惟一可译码或非单义可译码。 ;唯一可译码的条件 1）不同的信源符号变换成不同的码字(非奇异码)； 2）任意有限长的信源序列所对应的码元序列各不相同. 即: 码的任意有限长N次扩展码都是非奇异码。 Or: 码符号序列的反变换也唯一的（扩展码非奇异） 原因： 若要使某一码为惟一可译码，则对于任意有限长的码符号序列，必须只能被惟一地分割成一个个的码字，才能实现唯一的译码。;无失真的编码的一般条件 1）码字与信源符号之间一一对应（非奇异码）； 2）码符号序列的反变换也唯一的（扩展码非奇异）。 即：编码必须是唯一可译码。否则，就会引起译码的错误与失真。 等长码是唯一可译码的条件 若等长码是非奇异码，则它的任意有限长N次扩展码一定也是非奇异码。 因此，等长非奇异码字一定是唯一可译码,因为采用固定长度划分码字序列.; 1）若对每个信源符号进行等长编码，则必须满足: 其中: l是码长，r是码符号集的码元数，q信源符号数。;例证：根据依赖关系，信源符号平均所需码符号数可减少。 例 设信源;5.4 等长信源编码定理;分析：定理中的条件式可写成;最佳编码效率： 由定理知，;当信源符号自信息量的方差 和 确定时，只要N足够大，就可以实现允许错误概率：;若采用等长二元编码，要求编码效率 ，允许错误率;1、唯一可译变长码;码2本身不是奇异码，但从有限长的码符号序列是奇异码。 如果把码2的2次扩展码写出，则会发现：