中南大学信息论与编码课件Inf_T_C_6.4N.ppt

2013 秋季 信息11 Inf Theory Coding-张祖平 信息论与编码 张祖平/Zhang Zuping 电子信息工程系 School of Information Science and Engineering,Central South University , zpzhang@csu.edu.cn 本章小结 作业 第三版书 P444 6.1 6.3 6.5 6.9 第二版书 6.1 6.3 6.5 6.9 * * 101 =》 1 01 or 101 * * * * * * * 看书上下界证明，P375-376 看书例题P377 * 下界的另外一种形式 * 下界的另外一种形式 平均码长不要取整，但是单个的ni还是要取整的 * * * 香农码编码效率并不是很高，不算是最佳编码。但是从学术意义指导非常大。11110完全可以采用4位编码解决，如码树图，1101也可以采用3位编码解决。 哈夫曼编码效率最高，费诺编码效率次之，香农编码效率最低，甚至低于定长编码的效率。因此，香农编码的实用价值不大，但却有深远的理论意义，因为按香农的方法对信源序列编码，当序列长度趋于无穷时，平均码长会趋于信源的熵。 * * * ai p(ai) 码字 Wi3 a1 0.4 00 a2 0.2 10 a3 0.2 11 a4 0.1 010 a5 0.1 011 0.4 0.4 0.4 0.6 1.0 0.2 0.2 0.4 0.4 0.2 0.2 0.2 0.1 0.2 0.1 0 1 0 1 0 1 0 1 6.8 Huffman编码 * 码元/符号 平均码长、编码效率 ai p(ai) 码字 Wi3 a1 0.4 00 a2 0.2 10 a3 0.2 11 a4 0.1 010 a5 0.1 011 6.8 Huffman编码 哈夫曼编码形式不是唯一的，用方差选择较好的编码 由于0，1顺序可以不同，导致不一样 由于出现合并后等概率情况，排序位置不同，导致不一样 ai p(ai) 码字 Wi1 码字 Wi2 码字 Wi3 a1 0.4 0 1 00 a2 0.2 10 01 10 a3 0.2 111 000 11 a4 0.1 1101 0010 010 a5 0.1 1100 0011 011 W2和w3编码的方差不同，进行哈夫曼编码时，为得到码方差最小的码，应使合并的信源符号位于缩减信源序列尽可能高的位置上，以减少再次合并的次数，充分利用短码。 方差越小，说明各个码的长度都比较接近平均长度，这样编码器和解码器就可以比较简单 6.8 Huffman编码 练习 信源共有7个符号组成，其概率如表所示，求二进制哈夫曼编码，平均码长和信息传输率。 信源消息符号xi 符号概率p(xi) x1 0.20 x2 0.19 x3 0.18 x4 0.17 x5 0.15 x6 0.10 x7 0.01 6.8 Huffman编码 练习 * 0.20 0.20 0.26 0.35 0.39 0.61 1.0 0.19 0.19 0.20 0.26 0.35 0.39 0.18 0.18 0.19 0.20 0.26 0.17 0.17 0.18 0.19 0.15 0.15 0.17 0.10 0.11 0.01 0 1 0 1 0 1 0 1 0 1 0 1 6.8 Huffman编码 练习 * 信源符号 符号概率 编 码 过 程 码字 码长 0.20 10 2 0.19 11 2 0.18 000 3 0.17 001 3 0.15 010 3 0.10 0110 4 0.01 0111 4 0 1 0.20 0.19 0.18 0.17 0.15 0.11 0.26 0.20 0.19 0.18 0.17 0 1 0 1 0.26 0.35 0.20 0.19 0 1 0.35 0.26 0.39 0 1 0.39 0.61 0 1 6.8 Huffman编码 练习 * 0.01 0.10 0.11 0.