第2章 信源编码技术.pptVIP

该哈夫曼编码的平均码长是1.27b；采用等长码则码长为2b。这里,哈夫曼编码提供的压缩率是1.57（2/1.27）,比6元素单字符集的1.25大。但是,应用式(2-21)计算字符集的熵（平均信息量）为0.9443b,该字符集编码效率为74.35％（0.9443/1.27）,却比6元素单字符集的96.67％小。这是因为6元素单字符集的信息熵（2.32b）与平均码长（2.4b）的匹配比3元素单字符集的信息熵（0.9443b）与平均码长（1.27b）的匹配要好。第30页，共87页，星期日，2025年，2月5日 由此可见,由于有较多元素的字符集具有较大的信息熵（平均信息量）,使得信息熵与平均码长的匹配更好些,所以具有更高的编码效率。为了提高编码效率或获得更大的压缩增益,必须重新定义信源字符集的元素,对字符集进行扩展。具体的方法是：每次从源字符集（3元素单字符集）中选择两个元素,排序形成扩展字符集（9元素双字符集）的新元素。如果假定元素是独立的,那么每个新元素的概率是各个元素独立概率之乘积。扩展字符集为X{xi∈X,i=1,2,…,9},每个元素xi的编码序列通过上述哈夫曼过程获得,扩展后的9元素双字符集的参数如表2-6所示。可以算出扩展后的9元素双字符集的压缩率是2.07（2/0.9671）,编码效率是97.64％（0.9443/0.9671）,比扩展前的3元素单字符集的压缩率1.57、编码效率74.35％有明显的提高。第31页，共87页，星期日，2025年，2月5日表2-63元素单字符集扩展为9元素双字符集第32页，共87页，星期日，2025年，2月5日 扩展码提供了一种利用码元关联性的技术。例如,英文中的相邻字母有很强的关联性。特别常见的字母对有： threin shhee_ deeds_ ngatr_ teesd_ 下划线代表一个空格。类似地,常见的3元组合有： theandfor ingioness 因此,一般不对单个字母采用哈夫曼编码,而是将字符集扩展为包含所有单字母、常见2字母和3字母组合的扩展字符集,然后再对扩展字符集进行哈夫曼编码,这样可以得到更高的编码效率。第33页，共87页，星期日，2025年，2月5日 例2-7概率分布均匀的3元素单字符集的哈夫曼编码。 该字符集的哈夫曼编码树见图2-5,其详细参数见表2-7(i=1,2,3)。图2-5概率分布均匀的3元素单字符集的哈夫曼编码树第34页，共87页，星期日，2025年，2月5日表2-7概率分布均匀的3元素单字符集哈夫曼编码的详细参数第35页，共87页，星期日，2025年，2月5日 该哈夫曼编码的平均码长是1.667b,采用等长码时码长为2b,则哈夫曼编码提供的压缩率是1.20（2/1.667）。应用式(2-21)计算字符集的熵（平均信息量）为1.585b,该字符集编码效率为95.08％（1.585/1.667）。 若把该3元素单字符集扩展为9元素双字符集,则扩展后的9元素双字符集的参数如表2-8所示。 可算出扩展后的9元素双字符集的压缩率是1.24（2/1.611）,编码效率是98.39％（1.585/1.611）,与扩展前的3元素单字符集的压缩率1.20、编码效率95.08％相比较,有提高但提高的幅度不大。第36页，共87页，星期日，2025年，2月5日表2-8概率分布均匀的3元素单字符集扩展为9元素双字符集第37页，共87页，星期日，2025年，2月5日 通过例2-6与例2-7的比较,我们可以得出以下两点结论: ①字符集的哈夫曼编码的编码效率和压缩率与字符集的概率分布有关,概率分布不均匀,编码效率低,压缩率高；概率分布均匀,编码效率高,压缩率低。 ②扩展后的字符集的编码效率和压缩率提高的幅度与原字符集的概率分布有关,概率分布不均匀,编码效率和压缩率提高的幅度大；概率分布均匀,编码效率和压缩率提高的幅度小。 故哈夫曼编码适合用于概率分布不均匀的信源。第38页，共87页，星期日，2025年，2月5日 哈夫曼编码方法是一种不等长最佳编码方法,此处的最佳是指：对于相同概率分布的信源而言,它的平均码长比其他任何一种有效编码方法的平均码长都短。第39页，共87页，星期日，2025年，2月5日2.3限失真信源编码 2.3.1基本原理 若有一个离散、无记忆、平稳信源,其信息