第五章 无失真信源编码15.pptVIP

第五章 无失真信源编码;一.信源编码;3.编码器的数学模型;2.二元码：;例5-1：设有二元信道的信源编码器，其概率空间;9.N次扩展码（类似N次扩展信源）;即时码可用树图构造：; 有一离散无记忆信源输出为N长符号序列，信道基本符号r个，信源输出符号个数为q，则存在唯一可译码的充要条件为： ;例5-2： 英文电报有32个符号(26个字母加上6个字符),请问对信源符号进行二进制编码，要想有唯一可译码，码长至少为多少？;二、定长编码定理;;三. 编码效率η;例5-4：设离散无记忆信源;一.变长编码的概念 概念：通过编码后的代码组中的每个码字的码长不尽相等。 要实现无失真信源编码，变长码必须是唯一可译码;二.克拉夫特(Kraft)不等式和麦克米伦(McMillan)不等式; 设S0为原始码字的集合。再构造一系列集合S1,S2,…Sn。 构造S1,S2,… Sn的方法： 1、首先考察S0中所有的码字。若码字Wj是码字Wi的前缀，即Wi = WjA，则将后缀A列为S1中的元素，S1就是由所有具有这种性质的A构成的集合。 2、当n1，则将S0于Sn-1比较，看是否S0中的码字是Sn-1的前缀，如果是，则取后缀为Sn中元素，且看Sn-1中码字是否为S0中码字的前缀，如果是，则取后缀为Sn中元素，如此构成集合Sn。; S0 S1 S2 S3 S4 S5 S6 S7 S8 a d eb de b ad d eb 0 c bb cde bcde ad abb bad deb bbcde;1.平均码长 ：;平均每个码元载荷的信息量 = 信道的信息传输率R;则总可以找到一种编码方法构成唯一可译码，使信源S中的每个信源符号所需的码字与平均长度满足 ;变长编码定理说明：若编码的平均码长; 对离散信源进行适当变换，使变化后的码符号信源(作为信道的输入信源)尽可能等概分布，使每个码符号平均含的信息量最大，从而使信道的信息传输率R达到信道容量C，实现信源与信道的统计匹配。 香农第一定理是香农信息论的主要定理之一，可以表达为： 若信息传输率R不大于信道容量C，总能对信源的输出进行适当的编码，使得在信道上能够无差错地以最大信息率C传输信息。要使信息传输率R大于C而无差错地传输信息量是不???能的。; 4.编码效率η和码的剩余度γ ;;第四节 变长编码的编码方法;例5-7： 消息序号Si 概率p(Si) –logp(Si) 码长Li 累加概率pi 二进制码 S1 0.40 1.32 2 0 00 S2 0.30 1.74 2 0.40 01 S3 0.20 2.32 3 0.70 101 S4 0.10 3.32 4 0.90 1110 ;②用0，1码符号分别代表概率最小的两个信源符号，并将这两个概率最小的信源符号合并成一个，从而得到只包含q-1个符号的新信源S1,称为缩减信号源。;例5-8;用树图检验是否为即时码;(1)每次对信号缩减时，赋予最后两个概率最小的符号 用“0”和“1”是可任意的。 (2)对信源进行缩减时两个概率最小的符号合并后的概率与其他符号概率相同时，可任意排序。;; r元哈夫曼码可由二元哈夫曼码的编码方法推广得到。只是编码过程中构成缩减信源时，每次将r个概率最小的符号合并，并分别用0，1，…，r-1码元表示。 为了充分利用短码，使哈夫曼码的平均码长最短，必须是最后一个缩减信源有r个信源符号。因此，对于r元哈夫曼码，信源S的符号个数q必须满足;例5-9：有一离散无记忆信源;;霍夫曼编码的特点： ;五.Lemple-Ziv编码 ;例5-11：若有一信源： 每秒钟发出2.66个信源符号，将此信