第4章-信息率失真函数.ppt

第4章信息率失真函数4.1基本概念4.1.1失真函数与平均失真度4.1.2信息率失真函数4.1.3信息率失真函数的性质4.2离散信源的信息率失真函数4.3连续信源的信息率失真函数4.4保真度准则下的信源编码定理无失真信道传输问题无失真信源编码定理和有噪信道编码定理无论无噪信道还是有噪信道，只要信息传输率R小于信道容量C，总可以找到一种编码方法，使得编码后的信息传输率R可以任意接近信道容量C（即R?C），且信道产生的错误译码概率任意小。反之，如果RC，在任何信道上都不可能实现错误译码概率任意小的无失真的传输，或者说，要实现错误译码概率任意小，在任何信道上传输都必然产生失真。问题：信道传输是否需要完全无失真？信道传输允许一定失真传送每秒25帧的图像就能满足人类通过视觉感知信息的要求，而不必占用更大的信息传输率；人类的听觉对大多数人只能听到几千赫兹到十几千赫兹，对于经过专业训练的音乐家，一般也不过听到20kHz的声音。结论：实际应用要求在保证一定质量前提下在信宿近似地再现信源输出的信息，或者说在保真度准则下允许信源输出存在一定的失真。实际通信系统的例子在实际的通信系统中，信道容量有限，要求对信源进行压缩，如GSM通信：本章讨论的问题需要解决的问题：对于给定的信源（即给定信源熵H(X)），在允许的失真条件下，信源熵所能压缩的极限（即信息率失真函数R(D)）理论值是多少？信息率失真理论是研究信源熵的压缩问题，采用研究信道的方法，即在数学上将信源熵压缩看成通过一个信道，寻找在保真度准则下的最小的平均互信息。信息率失真理论是信号量化、模数转换、频带压缩和数据压缩的理论基础，在图像处理、数字通信等领域得到广泛应用。第4章信息率失真函数4.1基本概念4.1.1失真函数与平均失真度4.1.2信息率失真函数4.1.3信息率失真函数的性质4.2离散信源的信息率失真函数4.3连续信源的信息率失真函数4.4保真度准则下的信源编码定理失真测度-失真函数失真函数举例4.1.1失真函数举例4.1.2失真函数举例(续）失真函数的定义推广到矢量传输失真函数举例4.1.4失真函数举例2-续类似可以得到其它元素数值，矢量失真矩阵为第4章信息率失真函数4.1基本概念4.1.1失真函数与平均失真度4.1.2信息率失真函数4.1.3信息率失真函数的性质4.2离散信源的信息率失真函数4.3连续信源的信息率失真函数4.4保真度准则下的信源编码定理平均失真平均失真定义平均失真定义-矢量传输第4章信息率失真函数4.1基本概念4.1.1失真函数与平均失真度4.1.2信息率失真函数4.1.3信息率失真函数的性质4.2离散信源的信息率失真函数4.3连续信源的信息率失真函数4.4保真度准则下的信源编码定理D失真许可信道(试验信道)信息率失真函数的定义信息率失真函数R(D)的意义第4章信息率失真函数4.1基本概念4.1.1失真函数与平均失真度4.1.2信息率失真函数4.1.3信息率失真函数的性质4.2离散信源的信息率失真函数4.3连续信源的信息率失真函数4.4保真度准则下的信源编码定理信息率失真函数R(D)的性质R(D)的定义域R(D)是关于D的下凸函数R(D)在区间(0,Dmax)上是严格递减函数1.R(D)的定义域R(D)的定义域(续)R(D)的定义域-上限定义方法R(D)的定义域例子2.R(D)是关于D的下凸函数3.R(D)在区间(0,Dmax)上是严格递减函数R(D)三点结论（三个性质）离散信源信息率失真函数R(D)的一般曲线第4章信息率失真函数4.1基本概念4.2离散信源的信息率失真函数4.2.1离散信源信息率失真函数的参量表达式4.2.2二元及等概离散信源的信息率失真函数4.2.3信息率失真函数的性质4.3连续信源的信息率失真函数4.4保真度准则下的信源编码定理信息率失真函数R(D)对于离散信源来说，求信息率失真函数R(D)与求信道容量C类似，是一个在有约束条件下求平均互信息极值的问题，只是约束条件不同。C是求平均互信息的条件极大值而R(D)是求平均互信息的条件极小值。信息率失真函数的计算已知信源的概率分布p(x)和失真函数d(x,y)，就可以确定信源的信息率失真函数R(D)，它是在约束条件，即保真度准则下，求极小值问题。一般情况下难于求得闭式解，常采用参量表示法，或采用迭代算法求解。R(D)参量表示法求解R