第10讲 信源编码的性12.docxVIP

第10讲信源编码的性能指标无失真信源编码的冗余度压缩原理为了压缩冗余度，必须改造信源输出符号的统计特性。一方面要尽量提高任一时刻输出符号的概率分布的均匀性，另一方面要尽量消除前后输出符号的统计相关性。因此，无失真信源编码的实质是将信源尽可能地改造为均匀分布的无记忆信源。这种信源的通信效率是最大的。改造后的新信源是由原信源和编码器共同组成的，称为编码后的信源。设f是信源S的一个编码，X是编码后的信源，则三者之间的关系表示如下信源编码f所用的码元可以与信源S的符号不同，一般是某个信道的输入符号。从数据处理这个角度来看，编码f是一个数据处理器，输入信源S的数据，输出信源X的数据。从通信的角度看，编码f是一个信道，输入信源S的数据，输出信源X的数据。无失真信源编码的目的是无损压缩，即用尽可能少的数据表示数据中的所有信息，不能破坏数据原有信息。这相当于提高信息传输效率，使之接近于1。因此，度量无失真编码的压缩性能可以看编码后信息传输效率，称为编码效率。编码效率越接近于1，无损压缩性能越好。下面介绍信源编码的5个性能指标，包括平均码长、码率、编码效率、编码冗余度和压缩率。平均码长平均码长是信源编码的一个关键的性能指标。在已知信源熵的前提下，根据平均码长，可以计算出无损压缩编码的码率和编码效率。定义2.1设f是一个N-分组码，各码字的码长分别记为，对应的N长分组的概率为，则f的平均码长定义为注：在有的教材中，当平均码长的单位转化为“比特/信源”时，称为编码速率。本课程用不到这个概念。讨论：用平均码长估计编码后的数据长度设S是一个离散无记忆信源，是信源S的一个编码，其平均码长为。令是一个信源序列。假设用f对该数据进行编码，试估计编码后码元序列的长度。对于信源数据，我们令Li表示信源符号si所对应的码字f(si)的长度，则编码后的数据长度为。我们把Li视为随机变量，则对于任何i，我们有。因为S是离散无记忆的，所以{Li}是独立同分布随机序列。根据辛钦大数定理，我们有这表明，编码后的数据长度可以估计为，并且n越大，这个估计的越精确、可信。我们把上述结论推广如下。定理2.2 （无失真编码的数据长度定理）设S是具有AEP性质的信源，f是S的一个平均码长为的无失真N-分组码。假设在编码f下，某数据在编码前的长度为n信源，在编码后的长度为m码元，则意义：信源序列长度n越大，编码后所得的码元序列的长度越有可能近似于。码率和编码效率定义3.1 码率（code rate）：编码后的信息传输率H∞(X)，记为R，单位是“比特/码元”。下列定理给出了无失真编码的码率计算公式。定理3.2设S是具有AEP性质的信源，f是信源S的无失真编码。若S的熵率为H∞，f的平均码长为，则f的码率为证明：记编码后的信源为X。根据定义，X的熵率为码率R。用Sk, Xk分别表示信源S和X所产生的信源序列中的第k个符号。根据渐近等分性定理，由于S具有渐近等分割性，易知X也具有渐近等分割性。于是我们有其中为经编码后的码元序列，故有.根据依概率收敛的性质，由（1）和(2)得.再由前面的编码后数据长度定理，.于是我们得，即。证毕定义3.2 编码效率（code efficiency）：对于编码f来说，编码后信源X的信息传输效率称为f的编码效率，记为。因此，码率和编码效率是信源编码的两个重要性能指标，其值越大，则编码的数据压缩能力越强。注意，对于无失真信源编码来说，提高编码效率与数据压缩是一回事。而对于限失真信源编码来说，除了通过提高编码效率来实现数据压缩之外，还通过量化方法缩小信源熵率，为后面的无失真压缩提高更大的压缩空间。提问：（1）码率与编码效率的的最大值分别是多少？（2）试确定码率与编码效率的之间的数量关系。答：（1）码率最大值=码元最大熵H0(X)，从而最大编码效率= H0(X) /H0(X)=1。（2）编码效率=码率/码元最大熵。定义3.3编码冗余度：度量信源编码与理想编码之间的差距，定义为编码冗余度=最大码率－码率编码相对冗余度=编码冗余度/ 最大码率=1－编码效率压缩率根据第8讲的渐近等分割性定理，对于足够长的的数据，我们有如下近似关系：数据越长，该近似关系越准确和可信。根据该近似关系，读者可以看出，在信息量不变的前提下，熵率越大，数据越短。因此，提高熵率所带来的结果就是数据压缩。压缩效果用压缩率来度量，定义为（1）数据压缩率：对于一个数据x，其以比特为单位的长度称为x的比特数，记为l(x)。x经过编码后的比特数记为L(x)。x的在此编码下的压缩率（也称压缩比）定义为（2）无失真信源编码压缩率：教材上都没有定义。能否给出一个合理的定义？设f是信源S的无失真编码，s是S的一个信源序列，x是在编码f下所得的码元序列。令s的长度是n，即nH0(S)比特。令x的长度是m，即mH0(X)比特