失真度和平均失真.PPT

信息论 电子信息工程学院 7.1 失真度和平均失真度 为什么研究失真和信息率失真函数？ 客观条件限制：在很多场合，如果要求对信源所蕴含的信息量进行无失真地传输，则要求信源的输出速率和信道提供的信息传输率要充分大甚至无限大，这往往是不现实的。 没有必要：在很多场合，过高的信息率也没有必要。 信息率失真函数理论是现代信息处理的理论基础。相应地，在一定程度的误差范围内，对信源进行限失真信源编码也是非常必要的。 7.1 失真度和平均失真度 为什么研究失真和信息率失真函数？ 信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。 在限失真信源编码里，一个重要的问题：在一定程度的允许失真限度内，能把信源信息压缩到什么程度，即最少用多少比特数才能/就能充分地描述信源的特征。 香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。 7.1 失真度和平均失真度 1、离散信源失真度 要研究信息率失真函数，首先要在通信系统的信源和信宿的联合空间上定义一个非负的失真函数(或称为失真测度、失真度)： d(ui，vj) :U×V→R+(［0，+∞) ) 信源U，输出样值为ui，经过有失真的信源编码器（或有干扰信道、或有失真的数据处理过程），输出V，样值为vj。 7.1 失真度和平均失真度 如果ui＝vj， (i=1，2，…，r， j= 1，2，…，s)，则认为没有失真；如果ui?vj，那么就产生了失真。失真的大小，用一个非负的量来表示，即失真函数d(ui，vj)，以衡量用vj代替ui所引起的失真程度。 对于离散信源，失真度一般定义为： 1、离散信源失真度 7.1 失真度和平均失真度 失真函数用来表征信源发出一个符号 ，而在接收端再现成符号 所引起的误差或失真。d越小表示失真越小，等于0表示没有失真。可以将所有的失真函数排列成矩阵的形式： 称为失真矩阵。 1、离散信源失真度 例1： 失真矩阵为： 这种失真称为汉明失真 在二元情况下： 7.1 失真度和平均失真度 1、离散信源失真度 例2：删除信源。 对于二元删除信源r=2,s=3 7.1 失真度和平均失真度 ，定义它的单个符号失真度为 1、离散信源失真度 例3：对称信源r=s， ， 当r=s=3时，失真矩阵为： 7.1 失真度和平均失真度 1、离散信源失真度 定义失真度为： 7.1 失真度和平均失真度 2、连续信源失真度 对于连续信源，失真度的定义有很多形式，有的物理意义比较明显，更多的是便于数学处理。失真函数d(ui，vj)的形式可以根据需要适当选取，如平方代价函数、绝对代价函数、均匀代价函数等： 平方失真： 绝对失真： 相对失真： 7.1 失真度和平均失真度 注意： 失真函数定义的失真大小是根据不同情况，人为定义的。 2、连续信源失真度 实际应用中，选择一个与主观特性完全匹配的失真函数非常困难，而要选择同时便于数学上处理的失真函数就更困难。 7.1 失真度和平均失真度 3、平均失真度 由于信源U和信宿V都是随机变量，所以符号之间的失真函数也是一个随机变量，传输时引起的平均失真应该是符号失真函数d(ui，vj)在信源和信宿概率空间的数学期望。 设U×V上的联合分布为p(ui，vj) ，则平均失真为 7.1 失真度和平均失真度 平均失真是符号失真函数在信源空间和信宿空间上平均的结果，是描述某一信源输出的符号流经某一种限失真信源编码器失真的大小，是从整体上描述信源编码器的失真情况。 3、平均失真度 7.1 失真度和平均失真度 对于连续随机变量同样可以定义平均失真 对于L长序列编码情况，当信源和信道都是无记忆时，单个符号平均失真为 3、平均失真度 * *