信息论基础与应用-李梅-第五章 无失真信源编码.ppt

讨论： 1) 两种方法平均码长相等。 2) 计算两种码的码长方差： 第二种方法编出的码码字长度变化较小，便于实现。 3. Huffman码（续5） 第五章：无失真信源编码 四、变长码的编码方法 3. Huffman码（续6） 离散信源如下: 解：编码过程略，Huffman编码结果如下： 第五章：无失真信源编码 四、变长码的编码方法 3. Huffman码（续7） 平均码长为 信源熵为 编码效率为 第五章：无失真信源编码 四、变长码的编码方法 3. Huffman码（续8） 注意：霍夫曼编码后的码字不是惟一的。 1）每次对缩减信源两个概率最小的符号分配“0”或“1”码元是任意的，所以可得到不同的码字。不同的码元分配，得到的具体码字不同，但码长li不变，平均码长也不变，所以没有本质区别； 2）缩减信源时，若合并后的概率与其他概率相等，这几个概率的次序可任意排列，但得到的码字不相同,对应的码长也不相同,但平均码长也不变。 第五章：无失真信源编码 四、变长码的编码方法 定理5.8 霍夫曼码是紧致码 0 1 0 1 0 1 0 1 1 01 000 001 1 00 01 3. Huffman码（续9） 第五章：无失真信源编码 四、变长码的编码方法 假定缩减后信源为 共有m个元素。 缩减前信源为 共有m+1个元素。 其中第k个元素码长 ,概率为 最短 则缩减前 4. r 元霍夫曼码 第五章：无失真信源编码 四、变长码的编码方法 p(sj) I(sj)/N s1= s1 s1 1/4 1 s2= s1 s2 1/8 1.5 s3= s1 s3 1/16 2 s4= s1 s4 1/16 2 s5= s2 s1 1/8 1.5 s6= s2 s2 1/16 2 s7= s2 s3 1/32 2.5 s8= s2 s4 1/32 2.5 p(sj) I(sj)/N s9 = s3 s1 1/16 2 s10= s3 s2 1/32 2.5 s11= s3 s3 1/64 3 s12= s3 s4 1/64 3 s13= s4 s1 1/16 2 s14= s4 s2 1/32 2.5 s15= s4 s3 1/64 3 s16= s4 s4 1/64 3 N=2 H(S) = 1.75 第五章：无失真信源编码 2. 定长信源编码定理 二、定长码及定长信源编码定理 定理5.3.1 设离散平稳无记忆信源的熵为H(S), 若对N次扩展信源 进行定长编码，则对于任意 0，只要满足 则当N足够大时，可实现几乎无失真编码，即译码错误概率 PE 为任意小；反之，则不可能实现无失真编码， 如果 当N足够大时，译码错误概率 PE 为1。 2. 定长信源编码定理（续1） 第五章：无失真信源编码 定长编码定理同样也适用于离散平稳有记忆信源，差别是要将信源熵 改为极限熵 。 二、定长码及定长信源编码定理 可以验证，对定长信源编码来说，要想实现无失真信源编码，N常常要取非常大的值。这在实际应用中很难实现。 2. 定长信源编码定理（续2） 第五章：无失真信源编码 当r=2时 二、定长码及定长信源编码定理 第五章：无失真信源编码 2. 定长信源编码定理（续3） 定义： 为编码信息率 定义： 为编码效率。 比特/信源符号 比特/信源符号 比特/信源符号 二、定长码及定长信源编码定理 第五章：无失真信源编码 2. 定长信源编码定理（续4） 根据编码效率的定义，最佳编码效率为： 在已知方差和信源熵的条件下，信源符号序列长度N与最佳编码效率η和允许编码错误概率