第三章-无失真信源编码（2）.pptVIP

DMS概率空间：[U, P]=[ui, P(ui) | i=1,2,..,q]N次扩展信源UN：[UN, P]=[aj, P(aj) | j=1,2,..,qN]   U的N长符号序列进行r进制编码 UN的单个符号进行r进制编码（定长编码或变长编码） 证明: 【说明】 （1）信源无失真变长编码定理又称香农第一定理。 （2） 是信息论的重要定理，给出了信源有效编码的界限。如果信源单个符号对应的平均码长 小于信源的熵Hr(U)，编码就会失真；如果满足 就一定能找到无失真编码。 （4） 用变长编码来达到相当高的编码效率，一般所要求的信源符号序列长度N可以比定长编码小得多。可得编码效率的下界： 例： 用二进制，r＝2，logr=l，H（U）＝2.55比特／符号，若要求 ，则 （5）编码后的剩余度 为 例：设离散无记忆信源的概率空间为 (1) 定长编码 若用二元定长编码（0，1）来构造一个即时码（N=1,r=2）： 这时平均码长为 编码效率为 输出的信息率为 (2)变长编码 假定信源序列的长度为N=2