第2章-信源编码技术.pptVIP

信源编码 原始的语音信号，如果不做任何处理，将含有很多的冗余信息，不利于在信道上进行传输。 为了提高传输效率，需要对该信号进行压缩，这一步骤称为信源编码。 与此类似，图像、视频等信号的压缩，都属于信源编码的范畴。 最主要的目的：提高通信的有效性。 信源编码原理：冗余的存在是由于原有信息之间存在着一定的关联，以及不同信息之间出现的概率分布不均匀所致。 例：语音的冗余，文字的不均匀性 通过编码处理，使得信息之间成为完全独立的符号，且出现概率相同，可以大大压缩原有信息的长度，而保持信息量不变。 2.1.4 信源的信息度量 1. 信息的基本概念 我们在前面讨论了信源的分类与统计描述,主要利用了信源的客观概率分布(包括概率与概率密度)特性描述了信源。 为了进一步深入定量地研究信源,仅限于上述一般化的描述是不够的。 信源就其信息实质来说,具有不确定性,那么信息与不确定性是什么关系,而不确定性又如何利用客观概率来表达,这就是信源输出的消息(或符号)所包含信息的定量度量问题。  其中, “E”表示求概率统计平均值,即求数学期望值。 Shannon称H(X)为信源的信息熵,简称为熵。 从数学上看,熵是信源消息概率P(xi)的对数函数logP(xi)的统计平均值,故又称为P(xi)的泛函数,它是定量描述信源的一个重要物理量。 熵是Shannon于1948年首先给出的一个从概率统计角度来描述信源不确定性的一个客观物理量,是从信源整体角度上反映信源不确定性的度量。   4. 信源编码的理论基础 现在我们来讨论信源冗余度的概念,它是信源统计分析中一个非常重要的概念,是信源信息处理、 信源编码的理论依据。 由于实际信源几乎都是有记忆的,这也就是说信源输出的消息序列的各个消息之间存在着记忆,即统计关联。 如果能首先定量地计算出这一统计关联引入的冗余度,就能充分地利用它。 下面讨论冗余度及其计算。 对于一个最简单二进制信源有下列基本不等式:  0≤H(X/Y)≤H(X)≤lb2=1 (2-32) 其中lb2为离散二进制信源消息等概率分布时的熵函数值（最大值、 极值）。  例2-3 关于英文文字信源冗余度的讨论。  根据英文中各个字母（含空格）出现的概率,可列出表2-2。 由表2-2,首先求得独立等概率情况下的H0(X)值: H0(X)=lb27=4.76 b 再求独立不等概率情况下的H1(X)值:  H1(X)= P(xi) lbP(xi)=4.03b 还可进一步求得有一阶、 二阶记忆下的H2(X)和H3(X)为  H2(X) =3.32 b H3(X) =3.1 b 最后,利用统计推断方法求得H∞(X)的值。 一般而言,由于采用不同的逼近方法和所取样本上的差异, 所推算的结果也不同,这里我们采用Shannon求得的推算值： H∞(X) ≈1.4b  这样,利用公式(2-35)及(2-36)可分别求得η=0.29, R=0.71。 这一结论说明英文字母信源从理论上看,有71%是多余的,即可以认为一本100页的英文书,理论上看仅有29页是有效的,其余71页从统计角度看完全是多余的。 也正是由于理论上存在着这一多余成分,引导了实际工作者对英文信源进行压缩编码的研究。  英文信源的分析也带动了各国对自己国家语言文字信源的分析,现将类似结果列于表2-3。 例2-4 关于语音信源冗余度的一个粗略估计。  语音信源的编码大致可以分为波形编码、 参量编码与混合编码三大类。 这里,仅分析冗余度最大的参量编码,即声码器的最大潜力。 以英语为例,其音素大约有27～28个,若按人们通常讲话的速率,每秒钟大约平均发送10个音素,这时英语语音信源给出的信息率为 上限： I1=lb (256) 10=80 b/s 下限： I2=lb (128) 10=70 b/s 若按PCM常规数字化编码传送语音,其标准速率为64 kb/s,因此可求得  η1= =0.001 25 η2= =0.0011 R1=1-η1=1-0.001 25=0.998 75 R2=1-η2=1-0.0011=0.9989 可见,语音参量编码潜力巨大。 定义理论上最大压缩倍如下：  K1= =800 (倍) K2= =914 (倍)