zyw7保真度准则下的信源编码.pptVIP

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 第7章　保真度准则下的信源编码 本章主要讨论在信源允许一定失真D情况下所需的最少信息率，从分析失真函数、平均失真出发，求出信息率失真函数R（D） 。 7.1 D平均失真和信息率失真函数 7.2信息率失真函数及其性质 7.2 离散信源和连续信源的R（D）计算 7.6保真度准则下的信源编码定理 平均失真和信息率失真函数 失真函数 平均失真 信息率失真函数R(D) 信息率失真函数的性质 7.1 平均失真和信息率失真函数 在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数。 失真函数 假如某一信源U，输出样值为ui，ui?{u1,…ur}，经过有失真的信源编码器，输出V，样值为vj，vj ?{v1,…vs}。如果ui＝vj，则认为没有失真d=0；如果ui ? vj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(ui， vj)，以衡量用vj代替ui所引起的失真程度。一般失真函数定义为 失真矩阵 单个符号的失真度的全体构成的矩阵 ，称为失真矩阵 举例：常见的失真矩阵定义 7.1 失真函数的定义可以推广到序列编码情况，如果假定离散信源输出符号序列U=(U1U2…Ul…UN)，其中N长符号序列样值ui＝(ui1ui2…uil…uiN)，经信源编码后，输出符号序列V=(V 1V 2…V l…VN)，其中N长符号序列样值vj＝(vj1vj2…vjl…vjN)，则失真函数定义为： ? 平均失真 由于ui和vj都是随机变量，所以失真函数d(ui，vj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真，记为 ? ? 对于连续随机变量同样可以定义平均失真 信息率失真函数R(D) 信息率失真函数R(D) 信源编码器的目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足平均失真 ? D的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源U的信息量。将此问题对应到信道，即为接收端V需要获得的有关U的信息量，也就是互信息I(U;V)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率P(vj/ui)就对应信道转移概率。 1、D允许试验信道 平均失真由信源分布P(ui)、假想信道的转移概率P(vj/ui)和失真函数d(ui，vj)决定，若P(ui)和d(ui，vj)已定，则可给出满足U下式条件的所有转移概率分布Pij，它们构成了一个信道集合BD 称为D允许试验信道。 2、信息率失真函数R(D) 由于互信息取决于信源分布和信道转移概率分布,当P(ui)一定时，互信息I是关于P(vj/ui) 的U型凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道Pij，使给定的信源P(ui)经过此信道传输后，互信息I(U；V)达到最小。该最小的互信息就称为信息率失真函数R(D)，即 对于离散无记忆信源，R(D)函数可写成 P(ui)，i＝1，2，…，r 是信源符号概率分布； P(vj/ui)，i＝1，2，…，r，j＝1，2，…，s 是转移概率分布； P(vj)，j＝1，2，…，s 是接收端收到符号概率分布。 例 设信源的符号表为A＝{a1，a2，…，a2n}，概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规定为 即符号不发生差错时失真为0，一旦出错，失真为1，试研究在一定编码条件下信息压缩的程度。 信息率失真函数的性质 R(D)函数的定义域 ⑴ Dmin和R(Dmin) Dmin＝0 对于离散信源： 对于连续信源 ： 最小失真Dmin能否达到零？ R（Dmin=0）=H（U）？如何保证 只有当失真矩阵每行至少有一个0，且每列最多有一个0时，上式才成立。 否则， R（Dmin=0）H（U）,表示信源中有些符号可以压缩，合并，并且不引入失真。 举例7.4：U:{0,1}, V:{0,1,2} (2) Dmax和R(Dmax) Dmax的推导： R(D)＝0就是I(U;V)＝0， 这时试验信道输入与输出是互相独立的，所以条件概率p(vj/ui)