第45章限失真信源编码.pptVIP

第4章限失真信源编码 4.1平均失真和信息率失真函数 4.1.1失真函数 4.1.2平均失真 4.1.3信息率失真函数 4.1.4信息率失真函数的性质 4.2离散信源和连续信源的计算 4.3限失真信源编码定理 4.4常用信源编码方法简介 4.4.1游程编码 4.4.2算术编码 4.4.3矢量量化 4.4.4预测编码 4.4.5变换编码 习 题 4.1平均失真和信息率失真函数 4.1.1失真函数 失真函数 定义: 失真矩阵 4.1.1失真函数 例设信源符号X∈｛0，1｝,编码器输出符号Y∈｛0,1,2｝,规定失真函数为d(0,0)＝d(1,1)＝0;d(0,1)＝d(1,0)=1;d(0,2)＝d(1,2)＝0.5,求失真矩阵 解:由式得失真矩阵 4.1.1失真函数 常用失真函数 均方失真： 绝对失真： 相对失真： 误码失真： 失真函数的定义的推广 4.1.2平均失真 平均失真 对于连续随机变量的平均失真 对于序列编码情况的平均失真 4.1.3信息率失真函数 D允许信道（D允许的试验信道） 对于离散无记忆信道 信息率失真函数R(D) 对于离散无记忆信源 4.1.3信息率失真函数 例设信源的符号表为A=｛a1,a2,…,a2n｝,概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规定为 由信源概率分布可求出信源熵为 设想采用下面的编码方案： 平均失真D为 4.1.3信息率失真函数 由该信道模型知，它是一个确定信道 由互信息公式可得 I(X;Y)=H(Y)-H(Y/X)=H(Y) 信道输出概率分布为 所以概率分布为 则输出熵H(Y)为 4.1.4信息率失真函数的性质 1.R(D)函数的定义域 R(D)的定义域为D∈［0，Dmax］ 2.R(D)函数的下凸性和连续性 3.R(D)函数的单调递减性 4.1.4信息率失真函数的性质 得出如下结论： R(D)是非负的实数，即R(D)≥0。其定义域为0～Dmax，其值为0～H(X)。当D＞Dmax时,R(D)≡0。 R(D)是关于D的下凸函数，因而也是关于D的连续函数。 R(D)是关于D的严格递减函数。 4.2离散信源和连续信源的计算 4.2离散信源和连续信源的计算 例4.2.1设输入输出符号表为X=Y=｛0，1｝，输入概率分布p(x)=｛p，1-p｝，0＜p≤1/2，失真矩阵为 求信息率失真函数R(D). 解:简记 (1) 按下式解方程 解得 4.2离散信源和连续信源的计算 (2) 按下式解方程 解得 (3) 得转移概率分布 4.2离散信源和连续信源的计算 (4) 求s(s=logα) 4.2离散信源和连续信源的计算 (5)计算R(D)，将上面各式代入， 则有 4.3限失真信源编码定理 限失真信源编码定理： 设离散无记忆信源X的信息率失真函数R(D)，则当信息率R＞R(D)，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于D+ε，ε为任意小的正数；反之，若R＜R(D)，则无论采用什么样的编码方法，其译码失真必大于D。 如果是二元信源，对于任意小的ε＞0，每一个信源符号的平均码长满足如下公式 在失真限度内使信息率任意接近R(D)的编码方法存在。 4.4常用信源编码方法简介 4.4.1游程编码 游程长度 在二元序列中，只有两种符号，即“0”和“1”，这些符号可连续出现，连“0”这一段称为“0”游程，连“1”这一段称为“1”游程。它们的长度分别称为游程长度L(0)和L(1). 对于多元序列也存在相应的游程序列。例如m元序列中，可有m种游程。连着出现符号ar的游程，其长度L(r)就是“r”游程长度。 设有多元信源序列(x1，x2，…，xm1， y，y，…，y， xm1+1，xm1+2，…xm2， y，y，…其中x是含有信息的代码，取值于m元符号集A，可称为信息位；y是冗余位，它们可为全零，即使未曾传送在收端也能恢复。这样的序列可用下列两个序列来代替： 111，…，100，…，000111，…，111000和 x1，x2，…，xm1，xm1+1， xm1+2，…xm2，…  前一个序列中，用“1”表示信息位，用“0”表示冗余位；后一个序列是取消冗余位后留下的所有信息位。 4.4.2算术