信息论与编码 第四章：信息率失真函数.pptVIP

第四章 信息率失真函数 胡君红 jhhu@phy.ccnu.edu.cn 信息率失真理论 连续信源的信息量无限大，不可能无失真地传送连续信源的信息。 现实生活中允许一定的失真存在。 信息率失真理论主要研究信息率与允许失真之间的关系。 连续信源的率失真理论是连续信源量化、压缩的理论基础。 I(X;Y)性质回顾 I(X;Y)是p(x)和p(y/x)的二元函数 I(X;Y)是p(x)的上凸函数 I(X;Y)是p(y/x)的下凸函数 信息率失真函数 4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理 平均失真度 N次扩展信道的平均失真 N次扩展信道的平均失真 信息率失真函数的定义 试验信道 信息率失真函数 信息率失真函数和信道容量的区别 试验信道 当信源固定，单个符号失真度也给定时，选择信道使其满足保真度准则 。凡满足要求的信道称为D失真许可的试验信道，简称试验信道。 试验信道 对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，其试验信道为： 信息率失真函数 信息率失真函数 在研究R(D)时，引用的条件概率p(y/x)并没有实际信道的含义。只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反映的仅是不同的有失真信源编码或信源压缩。所以改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率最小。 信道容量和信息率失真函数 R(D)是在允许失真D和信源概率分布已给定的条件下，求平均互信息的极小值问题；Ｃ是在信道特性已知的条件下求平均互信息的极大值问题。 Ｃ是假定信道固定的前提下，选择一种试验信源，使信息率最大，反映的是信道传输信息的能力，即信道可传送的最大信息率；R(D)是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量，反映的是信源可压缩的程度。 研究信道是为了解决在已知信道中传送最大信息率问题，目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，这是信道编码问题；研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小，即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性，这是信源编码问题。 信息率失真函数的性质 定义域： R(D)是D的下凸函数 R(D)的单调递减性和连续性 R(D)的定义域 Dmin和R(Dmin) Dmax和R(Dmax) Dmin和R(Dmin) Dmax和R(Dmax) Dmax和R(Dmax) R(D)的定义域 R(D)的定义域为(Dmin，Dmax) Dmin=0时，R(Dmin)=H(X) D≥Dmax时，R(D)=0 DminDDmax时，H(X)R(D)0 R(D)对允许平均失真度的下凸性 R(D)对允许平均失真度的下凸性 R(D)对允许平均失真度的下凸性 R(D)对允许平均失真度的下凸性 R(D)对允许平均失真度的下凸性 率失真函数的单调递减和连续性 离散信源的信息率失真函数 二元信源的R(D)函数 等概率离散信源的R(D)函数 二元信源的R(D)函数 二元信源的R(D)函数 二元信源的R(D)函数 二元信源的R(D)函数 二元信源的R(D)函数 二元信源的R(D)函数 二元信源的R(D)函数 二元信源的R(D)函数 离散信源的信息率失真函数 二元信源的R(D)函数 等概率离散信源的R(D)函数 等概率离散信源的R(D)函数 等概率离散信源的R(D)函数 等概率离散信源的R(D)函数 等概率离散信源的R(D)函数 等概率离散信源的R(D)函数 等概率离散信源的R(D)函数 信息率失真函数 4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理 连续信源的信息率失真函数 连续信源信息率失真函数的参量表达式 高斯信源的信息率失真函数 信息率失真函数与信息价值 连续信源信息率失真函数的参量表达式 连续信源信息率失真函数的参量表达式 高斯信源的信息率失真函数 高斯信源的信息率失真函数 高斯信源的信息率失真函数 高斯信源的信息率失真函数 高斯信源的信息率失真函数 信息率失真函数与信息价值 信息率失真函数与信息价值 信息率失真函数与信息价值 信息率失真函数与信息价值 信息率失真函数与信息价值 信息率失真函数与信息价值 信息率失真函数与信息价值 信息率失真函数 4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理 保真度准则下的信源编码定理 ——香农第三定理 保真度准则下的信源编码定理 ——香农第三定理 是一个存在性定理，没