近代信息论第五章.pptVIP

第1页，共21页，编辑于2022年，星期三 引言 信源编码定理 有效性 无失真下信道压缩的界 信道编码定理 可靠性 无失真传输 R的界 出发点:无失真 实际中有失真： 连续信源的熵无穷大，要求信道容量也无穷大，而实际系统F有限，不可能无失真 实际应用中允许失真，如电话，图像压缩 问题 如何描述信息的失真，及在限失真的条件下，编码定理如何？ 第2页，共21页，编辑于2022年，星期三 主要内容 第一节：率失真函数的定义 第二节：率失真函数的性质 第3页，共21页，编辑于2022年，星期三 第一节 率失真函数的定义 失真函数的定义 两个符号集 构成积 第4页，共21页，编辑于2022年，星期三 汉明失真函数 欧几里德距离测度 绝对值失真测度 例： 失真函数 第5页，共21页，编辑于2022年，星期三 平均失真定义 平均失真： 失真—— 是主观确定，根据失真所引起的损失、风险等因素人为规定。 实际中，常常要求平均失真某一范围 率失真的问题 第6页，共21页，编辑于2022年，星期三 率失真函数 I(X,Y) 表征信息的传输率： I(X,Y)=0 从Y中得不到X的信息 全失真 X与Y一一对应 无失真 I(X,Y)的大小反映了失真的大小 recall： 工程上允许失真： 图像压缩 （SNR 表失真 压缩倍数） 语音传输 （SNR， MOS（主观评分） 失真不能太大，需要保证可懂度和自然度 3.5 ——GSM(RPE-LTP) 4.0 ——CCITT(LD-CELP) 第7页，共21页，编辑于2022年，星期三 问题：当要求失真某个值，那么—— 信道最小的传输率？ 压缩倍数最大？ 即： 率失真函数 第8页，共21页，编辑于2022年，星期三 率失真函数定义 第9页，共21页，编辑于2022年，星期三 率失真函数定义 注意： D为自变量 ——试验信道 第10页，共21页，编辑于2022年，星期三 讨论： （1）在信源和允许失真D给定时，R(D)反映的是最小传输率，最大压缩倍数的界。 （2）R(D)与信道容量C是对偶的。 率失真 描述 信源 信道容量 描述 信道 失真小 失真大 极小值存在 极大值存在 back 第11页，共21页，编辑于2022年，星期三 第二节：率失真函数的性质 定义域 Dmin R(Dmin) Dmax R(Dmax) R(D)的数学特征 第12页，共21页，编辑于2022年，星期三 的定义域，即考虑D的取值范围。 Dmin R(Dmin) 考虑如何每一项取最小。 第13页，共21页，编辑于2022年，星期三 给定信源的条件下： 失真矩阵 信道矩阵 第14页，共21页，编辑于2022年，星期三 信道的信息传输率至少等于信源的熵： R(0)=H(X) 一般地： Dmin=0 第15页，共21页，编辑于2022年，星期三