新·第4章 限失真信源编码-精.pptVIP

第4章 限失真信源编码 4.1 连续信源的熵和互信息 4.2 信息率失真理论 4.3 标量量化编码 4.4 矢量量化编码 4.5 语音压缩编码 4.6 图像压缩编码 4.1 连续信源的熵和互信息 前面研究的信源都是取值为有限或可数的离散信源，这些信源输出的消息属于时间离散、取值有限或可数的随机序列，其统计特性可以用联合概率分布来描述。而实际某些信源的输出常常是时间和取值都连续的消息。例如，语音信号、电视信号等都是时间的连续波形，而且，在某一固定时刻，它们的可能取值也是连续的，这样的信源称为随机波形信源。 随机波形信源输出的消息是随机的，因此，可用随机过程来描述。用随机过程描述其输出消息的信源称为随机波形信源。若信源输出用平稳连续型随机序列来描述，则此信源称为连续平稳信源。连续平稳信源也可分为连续平稳无记忆信源和连续平稳有记忆信源。平稳连续型随机序列中每个自由度上的变量是连续随机变量。用连续随机变量描述其输出消息的信源称为连续信源。下面讨论它们的信息测度。 连续信源基本的数学模型为 式（4―1）定义的连续信源的熵并不是实际信源输出的绝对熵，连续信源的绝对熵应该再加上一项无限大的常数项。因为连续信源的可能取值有无限多个，若其取值是等概率分布的，那么，信源不确定性为无限大。当确知输出为某值后，所获得的信息量也将为无限大。可见，h(X)已不能代表信源的平均不确定性大小，也不能代表连续信源输出的信息量。 同理，可定义两个连续变量X，Y的联合熵和条件熵： 这样定义的差熵具有可加性、凸状性和极值性，不存在非负性和变换不变性等。 设基本连续信道如图4―1所示。其输入和输出都是单个连续型随机变量的信道。可用模型{X,p(y|x),Y}来描述单符号连续信道。X是输入连续型随机变量，X取值区间为［a,b］或实数域 R；Y是信道输出连续型随机变量，取值区间为［a′,b′］或实数域 R；信道的传递概率密度函数为p(y|x),并满足： 定义X和Y之间的平均互信息量为 连续信道的平均互信息量和离散信道下平均互信息量的关系式完全类似，且保留了离散信道平均互信息量的所有含义和性质。可见，将差熵定义为连续信源的熵是有重要实际意义的。 单符号连续信道的信息传输率：  R＝I(X;Y)， 比特/自由度 （4―11）  多维连续信道平均互信息等相关内容可参见有关文献。 4.2 信息率失真理论 4.2.1 失真函数 由于只涉及信源编码问题，所以可以将信道编码和译码看成是信道的一部分。这样信宿收到消息的失真（或误差）只是由信源编码带来的。从直观感觉可知，若允许失真越大，信息传输率可越小;若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真（或误差）是有关的。 为了定量地描述信息传输率和失真的关系，可以略去广义的无扰信道，所谓广义无扰信道，是指把信道编码、信道、信道译码这三部分看成一个没有任何干扰的广义信道。另一方面用虚拟手法拿信道来表示失真信源编码的作用，把信源编码和信源译码等价成一个信道，由于是失真编码，所以信道不是一一对应的，用信道传递概率描述编、译码前后关系，这样通信系统可简化为如图4―2所示。 设离散无记忆信源： 对应于一对（u,v），定义一个非负函数： d(ui,vj)≥0, i＝1，2，…，n;j＝1，2，…，m (4―12)  称此函数为失真函数（或称单个符号失真度）。它用来测度信源发出一个符号ui，而接收端收到一个符号vj时所引起的误差或失真。 由于信源U有n个符号，而接收变量V有m个符号，所以d(ui,vj)就有n×m个，这n×m个非负的函数可以排成矩阵形式，即： 失真函数可有多种形式，但应尽可能符合信宿的主观特性,即主观上的失真感觉应与d(ui,vj)的值相对应。D越大，所感觉到的失真也越大，而且最好成正比。当ui＝vj时，d应等于零，表示没有失真，当ui≠vj时，d为正值。常用失真函数有： 均方失真： 误码失真： 均方失真和绝对失真只与(x－y)有关，而不是分别与x及y有关，在数学处理上比较方便；相对失真与主观特性比较匹配，因为主观感觉往往与客观量的对数成正比，但其数学处理困难得多。其实选择一个与主观特性完全匹配的失真函数已非常困难了，更不用说还要便于数学处理了。前三种失真函数适用于连续信源，最后一种失真