信道率失真函数课件.pptxVIP

4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算;重点与难点;第2章所讲的信源熵，是针对不失真的情况。而在实际信息处理过程中，往往允许有一定的失真，例如连续信源发出的消息，由于其可能取值有无限多种，信源熵无穷大，要想传输这样的信息，必须经过A/D转换，这就引起量化失真。;人们的视觉和听觉都允许有一定的失真，电影和电视就是利用了人的视觉残留，使人没有发觉影片是由一张张画面快速连接起来的。耳朵的频率响应也是有限的，在某些实际场合中只需保留信息的主???特征就够了。所以，一般可以对信源输出的信息进行失真处理，降低信息率，提高传输率。那么在允许一定程度的失真条件下，能够把信源信息压缩到什么程度，至少需要多少比特的信息率才能描述信源呢？本章主要讨论在一定程度的失真情况下所需的最少信息率，从分析失真函数、平均失真出发，求出信息率的失真函数。;4.1 平均失真和信息率失真函数;在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。 要规定失真限度，必须先有一个定量的失真测度。 为此引入失真函数。;4.1.1 失真函数 ;失真函数;失真函数; 失真函数形式可以根据需要任意选取,最常用的有:;失真函数;失真函数;序列编码情况的失真函数;补充知识—数学期望;补充知识—数学期望;4.1.2 平均失真 ;失真函数d(xi,yj)： 描述了某个信源符号通过传输后失真的大小 平均失真： 描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真。;L长序列编码情况的平均失真; 信息率失真函数R(D); 信息率失真函数R(D);4.1.3 信息率失真函数R(D);信息率失真函数R(D);信息率失真函数R(D);信息率失真函数R(D);信息率失真函数R(D);信息率失真函数;由互信息的关系式 I(X;Y)=H(Y)-H(Y|X)=H(X)-H(X|Y) 可理解为互信息是信源发出的信息量H(X)与噪声干扰条件下消失的信息量H(Y|X)之差。应当注意，这里讨论的是有关信源的问题，一般不考虑噪声的影响。信息在存储和传输时需要去掉冗余，或者从某些需要出发认为可将一些次要成分去掉，也就是说，对信源的原始信息在允许的失真限度内可以进行压缩。由于这种压缩损失了一定的信息，造成一定的失真，把这种失真等效成由噪声而造成的信息损失，看成一个等效噪声信道(又称为试验信道)，因此信息率失真函数的物理意义是：对于给定信源，在平均失真不超过失真限度D的条件下，信息率允许压缩的最小值为R(D)。;例 已知编码器输入的概率分布为p(x)={0.5 ,0.5} 信道矩阵;编码器输入的概率分布为p(x)={0.5 ,0.5} 信道矩阵;平均互信息;信道容量;信息率失真函数;信道容量与信息率失真函数;例4-2：设信源的符号表为A={al,a2,…,a2n},概率分布为p(ai)=1/2n,i=1,2…2n,失真函数规定为;例4-2：;由该信道模型图4-3看出,它是一个确定信道(每个输入都对应一个输出)， pij=1(或0)，噪声熵H(Y|X)=0，无噪有损信道。 ;则输出熵H(Y);由以上结果可知，经压缩编码以后，信源需要传输的信息率由原来的log2n，压缩到log2n-((n+1)/2n)log(n+1)。也就是说，信息率压缩了((n+1)/2n)log(n+1)。这是采用上述压缩编码方法的结果，所付出的代价是容忍了1/2的平均失真。如果选取对压缩更为有利的编码方案，则压缩的效果可能更好。但一旦达到最小互信息这个极限值，就是R(D)的数值(此处D=1/2)，或超过这个极限值，那么失真就要超过失真限度。如果需要压缩的信息率更大，则可容忍的平均失真就要更大。; 信息率失真函数的性质;;R(D)的定义域;R(D)的定义域;R(D)的定义域;R(D)的定义域;R(D)的定义域;;例4-3:设输入输出符号表示为X=Y={0,1},输入概率分布p(x)={1/3,2/3},失真矩阵 ;此时输出符号概率p(b1)=0，p(b2)=1，a1→b2，a2→b2，所以这时的编码器的转移概率为;例4-4:设输入输出符号表示为X=Y={0,1},输入概率分布p(x)={1/3,2/3},失真矩阵 ;信息率失真函数的性质;信息率失真函数的性质;4.2 离散信源和连续信源R(D)计算 ;某些特殊情况下R(D);某些特殊情况下R(D);二元对称信源的R(D)函数 ;二元对称信源的R(D)函数;二元对称信源的R(D)函数;本章小结;本章小结;本章小结;精品课件！;精品课件！;习题