近代信息论-第五章-1.pptVIP

R(D)的数学特征 R(D)是D的下凸函数； R(D)是关于D的连续函数； R(D)是关于D的单调递减函数。 D R(D) 0 Dmax Dmin D R(D) 0 Dmax Dmin H(X) 相切 趋近无穷 离散 连续 back * 第五章 率失真函数 1-2 * . 引言 信源编码定理 有效性 无失真下信道压缩的界 信道编码定理 可靠性 无失真传输 R的界 出发点:无失真 实际中有失真： 连续信源的熵无穷大，要求信道容量也无穷大，而实际系统F有限，不可能无失真 实际应用中允许失真，如电话，图像压缩 问题 如何描述信息的失真，及在限失真的条件下，编码定理如何？ * 主要内容 第一节：率失真函数的定义 第二节：率失真函数的性质 * 第一节 率失真函数的定义 失真函数的定义 两个符号集 构成积 * 汉明失真函数 欧几里德距离测度 绝对值失真测度 例： 失真函数 * 平均失真定义 平均失真： 失真—— 是主观确定，根据失真所引起的损失、风险等因素人为规定。 实际中，常常要求平均失真某一范围 率失真的问题 * 率失真函数 I(X,Y) 表征信息的传输率： I(X,Y)=0 从Y中得不到X的信息 全失真 X与Y一一对应 无失真 I(X,Y)的大小反映了失真的大小 recall： 工程上允许失真： 图像压缩 （SNR 表失真 压缩倍数） 语音传输 （SNR， MOS（主观评分） 失真不能太大，需要保证可懂度和自然度 3.5 ——GSM(RPE-LTP) 4.0 ——CCITT(LD-CELP) * 问题：当要求失真某个值，那么—— 信道最小的传输率？ 压缩倍数最大？ 即： 率失真函数 * 率失真函数定义 * 率失真函数定义 注意： D为自变量 ——试验信道 * 讨论： （1）在信源和允许失真D给定时，R(D)反映的是最小传输率，最大压缩倍数的界。 （2）R(D)与信道容量C是对偶的。 率失真 描述 信源 信道容量 描述 信道 失真小 失真大 极小值存在 极大值存在 back * 第二节：率失真函数的性质 定义域 Dmin R(Dmin) Dmax R(Dmax) R(D)的数学特征 * 的定义域，即考虑D的取值范围。 Dmin R(Dmin) 考虑如何每一项取最小。 * 给定信源的条件下： 失真矩阵 信道矩阵 * 信道的信息传输率至少等于信源的熵： R(0)=H(X) 一般地： Dmin=0 * 讨论： 只有当失真矩阵每行至少一个极小值 每列最多一个极小值 才能使得H(X|Y)=0 才能保证I(X,Y)=H(X) 1. 2. 只有当失真矩阵至少有一列有多个极小值， 则后验概率未必是0或1，这时H(X|Y)0 I(X,Y)=H(X)-H(X|Y)H(X) ——————相当于可以压缩 * 例： 选择信道1： 选择信道2： 则R(0)=H(X) 可压缩 * Dmax R(Dmax) 定义 * 两个向量的内积 Dmax R(Dmax) I(X;Y)=0,X,Y独立， * 讨论： 1. 2. 某列全为1 每行三者和为1 R(Dmax)=minI(X,Y)=0 *