第三章 数据压缩和信源编码.ppt

* * 平均码长为 信源熵为 编码效率为 * * 注：哈夫曼编码后的码字不是惟一的。 1）每次对缩减信源两个概率最小的符号分配“0”或“1”码元是任意的，所以可得到不同的码字。不同的码元分配，得到的具体码字不同，但码长不变，平均码长也不变，所以没有本质区别。 2）缩减信源时，若合并后的概率与其它概率相等，这几个概率的次序可任意排列，但得到的码字不相同,对应的码长也不相同,但平均码长不变。 哈夫曼编码 * * 第一，哈夫曼编码实际上构造了一个码树，码树从最上层的端点开始构造，直到树根结束，最后得到一个横放的码树，因此，编出的码是即时码。 第二，哈夫曼编码采用概率匹配方法来决定各码字的码长，概率大的符号对应于短码，概率小的符号对应于长码，从而使平均码长最小。 第三，每次对概率最小的两个符号求概率之和形成缩减信源时,就构造出两个树枝，由于给两个树枝赋码元时是任意的,因此编出的码字并不惟一。 哈夫曼编码的基本特点 * * 哈夫曼码优点：编码方便易行，效率高。 在哈夫曼编码过程中，对缩减信源符号按概率由大到小的顺序重新排列时，应使合并后的新符号尽可能排在靠前的位置，这样可使合并后的新符号重复编码次数减少,使短码得到充分利用。 通过最佳的信源编码虽然可以消除信源的冗余度，提高信息传输率，但结果却使码变得十分“脆弱”，经不起信道中噪声的干扰，容易造成译码错误。 哈夫曼编码的优点 * * （1）如果对单个字母编码时，平均码字长与理论上的最优压缩率可能还有一定距离（可能差1比特）。 当信源熵H(X)很大时，这1比特可能无关重要；但当H(X)本身就接近1比特时，这额外的1比特可能决定了编码的码率，这显然不经济，因此要进一步提高编码效率，使码率尽可能接近信源熵，则仍需对长的信源序列来编码。 哈夫曼编码的缺点 * * （2）哈夫曼编码算法是从下而上地构造码树,当信源字母集很大时,这种算法甚为不便。另外,哈夫曼编码需要知道信源的概率分布,这在实际中有时是比较困难的。 哈夫曼编码的缺点 * * 哈夫曼编码的缺点 * * （4）从硬件实现上来看，哈夫曼编码有变长码的固有缺点：需缓冲存储器。 因为一般信源和信道传输信号是恒速的，但经变长编码后信源编码的每秒输出的比特数就不是常量，不能直接用信道来传输，为适应信道必须加缓冲设备，将编码器输出暂存在缓冲器中，然后再接到信道去传送。 从理论上讲当存储器容量为无限时，信源输出与信道传输之间才能取得平衡，当存储器容量有限时，这种平衡不一定能保持。 哈夫曼编码的缺点 * * 当信源连续输出低概率符号，其对应的码字较长，输入缓冲器的比特数大于信道能输出的比特数，会造成存储器溢出。 反之，当信源连续输出高概率符号，其对应的码字较短，输入缓冲器的比特数小于信道能输出的比特数，会造成存储器取空，信道上无信息可送，而使信道上出现连个0或连个1，导致误译。 因此需设计适当的存储器容量（降低成本，增加容量），并把信源发出的信息分段发送，或经常检查存储器，如有溢出，就转停，如有取空，则加入空间符号。 哈夫曼编码的缺点 * * （5）差错扩散: 对变长码一旦产生误码,某个码字的前缀部分可能成为另一个码字而发生错译,并可导致错误后传. 哈夫曼编码的缺点 * * 法诺(Fano)码编码步骤： 将概率按从大到小的顺序排列，令 将依次排列的信源符号按概率分成两组，使每组概率和尽可能接近或相等。 给每一组分配一位码元“0”或“1”。 将每一分组再按同样方法划分，重复步骤2和3，直至概率不再可分为止。由此即可构造一个码树，所有终端节点上的码字组成法诺码。 原理：它是通过构造一个码树，编出的码是即时码，但不一定是最佳码。 (3)法诺(Fano)编码 * * 解 信源 符号 符号 概率 第一次分组 第二次分组 第三次分组 第四次分组 码字 码长 0.20 0 0 00 2 0.19 1 0 010 3 0.18 1 011 3 0.17 1 0 10 2 0.15 1 0 110 3 0.10 1 0 1110 4 0.01 1 1111 4 例 对如下信源进行法诺编码 * * 平均码长为 信源熵为 编码效率为 * * (1) 法诺编码在构造码树时，是从树根开始到终端节点结束，这与哈夫曼编码相反； (2) 由于赋码元时的任意性，因此法诺编码编出的码字不惟一； (3) 法诺编码不全是按“概率大码长小、概率小码长大”来决定码长，有时会出现概率小码长反而小