第五章信源编码.pptVIP

第五章 信源编码 第一节 编码的定义 引言 第一节 编码的定义 四、码树和kraft不等式 第二节 无失真信源编码定理 二、变长编码定理 2、离散平稳无记忆序列变长编码定理（香农第一极限定理） 复习 2、费诺编码： 第三节 限失真信源编码定理 第四节 常用信源编码方法简介* 三、矢量量化 什么叫标量量化? 连续信源进行编码的主要方法是量化，即将连续的样值x离散化成为yi，i＝l，2，3，… ，n。n是量化级数，yi是某些实数。这样就把连续值转化为n个实数，可用0,1,2,…,n-1等n个数字来表示。离散信源也会涉及量化的问题，比如当提供的量化级数少于原来的量化级数时，也需要对该信源信号进行再次量化。在上述的这些量化中，由于x是一个标量，因此称为标量量化。 什么叫量化噪声? 当一个样值x经量化后所产生的误差为 zi=x-yi 或 yi=x-zi 也就是在信号值x上叠加了一个样值为-zi，的 噪声信号。这种噪声通常称为量化噪声。 什么叫做矢量量化? 连续信源也是如此，当把多个信源符号联合起来形成多维矢量，再对矢量进行标量量化时，自由度将更大，同样的失真下，量化级数可进一步减少，码率可进一步压缩。这种量化叫做矢量量化。 四、 预测编码 常用信源编码方法评述 (1) 哈夫曼码对于独立多值信源符号很有效； (2) 二元序列的游程编码实际上是为了把二值序列转化成多值序列以适应哈夫曼编码； (3) 多个二元符号合并成一个符号的方法也有类似的情况。算术码对于独立二元信源序列是很有效的，对于相关信源虽然可采用条件概率来编码而达到高效率，但这样做所引起的复杂度，往往使之难以实现。 常用的解除相关性的两种措施 常用的解除相关性的两种措施是预测和变换。它们既适应于离散信源，也可用于连续信源。其实两者都是序列的变换。一般来说，预测有可能完全解除序列的相关性，但必需确知序列的概率特性；变换编码一般只解除矢量内部的相关性，但它可有许多可供选择的变换矩阵，以适应不同信源特性。这在信源概率特性未确知或非平稳时可能有利。 什么叫预测? 预测就是从已收到的符号来提取关于未收到的符号的信息，从而预测其最可能的值作为预测值；并对它与实际值之差进行编码，达到进一步压缩码率的目的。由此可见，预测编码是利用信源的相关性来压缩码率的，对于独立信源，预测就不适用。 什么叫估计? 估计就是用实验数据组成一个统计量作为某一物理量的估值或预测值。最常见的估计是利用某一物理量在被干扰下所测定的实验值，这些值是随机变量的样值，可根据随机量的概率分布得到一个统计量作为估值。若估值的数学期望等于原来的物理量，就称这种估计为无偏估计；若估值与原物理量之间的均方误差最小，就称之为最佳估计。用来预测时，这种估计就成为最小均方误差的预测，所以也就认为这种预测是最佳的。 利用预测值编码的方法可分两类 一类是差值编码: 用实际值与预测值之差进行编码。常用于相关性强的连续信源，也可用于离散信源。在连续信源的情况下，就是对此差值量化。由于相关性很强的信源可较精确地预测待编码的值，这差值的方差将远小于原来的值，所以在同样失真要求下，量化级数可明显地减少，从而较显著地压缩码率。对于离散信源也有类似的情况。 另一类方法是根据差值的大小，决定是否需传送该信源符号。例如，可规定某一可容许值，当差值小于它时可不传送。对于连续函数或相关性很强的信源序列，常有很长一串符号可以不送而只需传送这串符号的个数，这样能大量压缩码率。这类方法一般是按信宿要求设计的，也就是失真应能满足信宿需求。 五、 变换编码 什么叫变换编码? 变换编码就是经变换后的信号的样值能更有效地编码，也就是通过变换来解除或减弱信源符号间的相关性，再将变换后的样值进行标量量化，或采用对于独立信源符号的编码方法，以达到压缩码率的目的。 输入第三个符号为“1”： 输入序列可记做s1=“011”（若第三个符号输入为“0”，可记做s0=“010”）； 现在，输入序列s1=“011”对应的区间是对区间[F(s),F(1))进行分割； 序列s0=“010”对应的区间宽度为 A(s=“010”)=A(s=“01”)?P(0)=A(s)?P(0) 其对应的区间为[F(s), F(s)+ A(s)?P(0))； 序列s1=“011”对应的区间宽度为 A(s=“011”)=A(s)?P(1)=A(s=“01”)－A(s=“010”)= A(s )－A(s0) 其对应的区间为[F(s)+A(s)?P