第7章 信息率失真理论.ppt

如果能找到试验信道，使 该式即为信息率失真函数。 考虑高斯反向加性信道 N 当Y和N相互独立时，可以证明 高斯反向加性信道是试验信道。 R(D) D S 0 习题：(P129-130)4.1、4.10、4.11 参量S与R(D)的关系 乘P(yj)，对j求和 由R(D)对D的严格下凸性和单调递减性，有 S 0及 6、二元信源的信息率失真函数 二元信源 设失真矩阵 参量S的取值范围 当α=1时， R(D) S D 0.5 0.25 p=0.25 p=0.5 0 0.693 0.562 -1.099 二元信源 求允许失真D的取值范围，并求D=1/8时该信源的信息率失真函数R(D) 。 取汉明失真矩阵 例2 当D=1/8时， 7、等概率信源的信息率失真函数 n元等概率信源 设失真矩阵 … … 当p=0.5时，二元信源的信息率失真函数 当n=2时，等概率信源的信息率失真函数 当α=1时， 三元等概率信源，取汉明失真矩阵 求允许失真D的取值范围，并求D =1/3时该信源的信息率失真函数R(D) 。 例3 当D=1/3时， 二、平稳无记忆信源的信息率失真函数 如果给定的允许失真为ND 平均失真度 保真度准则 实验信道 信息率失真函数 三、时不变连续信源的信息率失真函数 信源概率密度函数p(x)不变时，保真度准则下平均互信息量的最小值为该信源的信息率失真函数，用R(D)表示。 定义 表示 与单符号离散信源类似，导出信息率失真函数的计算步骤 1、信息率失真函数的参量表达式 设失真度 平均失真度 2、高斯信源的信息率失真函数 根据平均功率受限的最大相对熵定理，y不变条件下的条件相对熵 损失相对熵 根据詹森(Jensen)不等式 在满足保真度准则 条件下 信息率失真理论 信息率失真理论 信息论导论 通信与信息工程学院 杨海芬 第7章 信息率失真理论 理解单符号离散信源信息率失真函数的定义和性质，掌握失真度取值范围和实验信道的计算； 了解信息率失真函数计算的参量表达式的推导，计算步骤的整理； 掌握二元信源和等概率信源信息率失真函数的的导出和计算； 掌握高斯信源信息率失真函数的导出和计算； 理解保真度准则下信源编码定理；了解连续信源编码。 通信的实质是传输信息，要求传输的有效性和可靠性。有效性——在不失真或允许失真的条件下，用尽可能少的符号传送信源信息。信源编码分为无失真和限失真。 （1）无失真编码，又名冗余度压缩编码：仅对信源的冗余度进行压缩，不改变信源的熵； （2）限失真编码，又名熵压缩编码：在失真受限的情况下进行限失真编码。 信源编码的分类 引入限失真的必要性 失真在传输中是不可避免的; 接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的; 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真； 我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D，及其相应的信源最小信息率R(D). 对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U). 显然 H(U)≥R(D). 当且仅当 D=0时，等号成立； 为了定量度量D，必须建立信源的客观失真度量，并与D建立定量关系； R(D)函数是限失真信源信息处理的理论基础； 一、单符号离散信源的信息率失真函数 ①失真度 1、平均失真度和保真度准则 对应于离散消息xi与yj或连续消息x与y的非负函数d(xi,yj)或d(x,y)为失真度。 定义 常用的失真度： 汉明失真度 平方误差失真度 对于单符号离散信源，全部n×n个失真度组成的矩阵称为失真矩阵 ②平均失真度 各失真度的数学期望为平均失真度。 定义 ③保真度准则 如果给定的允许失真为D， 表示 单符号离散信源概率分布P(X)不变时调整信道，满足保真度准则 的信道P(yj/xi)，称为D失真许可的实验信道。 实验信道的集合 2、信息率失真函数 ① 实验信道 定义 表示 信源概率分布P(X)不变时，保真度准则下平均互信息量的最小值为该信源的信息率失真函数，用R(D)表示。 ②信息率失真函数 定义 信源固定时，平均互信息量是信道转移概率分布P(Y/X)的严格下凸函数，在实验信道的集合中找到一种信道转移概率分布P(Y/X) ，使通过信道的平均互信息量在保真度准则下达到最小。 表示 3、信息率失真函数的D定义域 允许失真D是平均失真度 的上界，允许失真D的给定范围受限于平均失真度 的可能取值。 当D =Dmin=0，即不允许任何失真时 R(D)=H(X) 根据R(D)的意义，当 即出现最大失真时R(D) =0 同样也是R(D) =0 如果