信息论第四章失真率函数.ppt

信息率失真函数R(D)——香农1959年提出 在允许一定失真度D的情况下， 信源输出的信息率可压缩为R(D)值 数据压缩的理论基础 I(X;Y)——H(X)、H(Y/X)的二元函数 固定H(Y/X) ，改变H(X)得I(X;Y)最大值 ——信道容量 固定H(X)，改变H(Y/X) 得I(X;Y)最小值 ——率失真函数 平均失真说明： ①是在平均意义上，对系统失真的总体描述 ②是信源统计特性p(xi)的函数 是信道统计特性p(yj / xi)的函数 是规定失真度 d(xi, yj)的函数 若保持p(xi)、d(xi, yj) 不变，则平均失真度就是信道特性p(yj / xi)的函数 补充：试验信道(D允许信道)PD 1.定义：固定信源(H(X)时，满足失真度准则 的所有转移概率p(y/x)的集合 2.单符号信源、单符号信道的试验信道 3.N次扩展信源、N次扩展信道的PD(N) 4.4 限失真信源编码定理 一、定理 设有一离散、平稳、无记忆信源， 其率失真函数为R(D)。 则对任意选定的D≥0，当传信率RR(D)时， 只要信源序列长度L足够长， 必存在一种编码方式C， 使译码后的失真 且当L→∞时，?→0 反之, 若RR(D), 则无论采用什么编码方式， 4.4 限失真信源编码定理(续) 一、定理 [说明] 1.若系统RR(D) 则必可设计一种编码方式,满足 若系统R R(D) 则无法满足 要求 2.[逆定理]若已规定满足失真度准则 , 则对所有设计均有R≥R(D) 3. RR(D)与 不能同时满足 4.4 限失真信源编码定理(续) [说明] 4. 任何设计所得到的工作点必 在率失真函数曲线R(D)上面 RQ与R1之比—— 理论上存在的最大可能压缩比 二、香农信息论 三个基本概念——信源熵、信道容量、率失真函数，都是临界值 三个编码定理——无失真信源编码、限失真信源编码、信道编码，都是存在性定理 [END] (5) 由式(4-43)，即 ，得 =D lnD + (1-D) ln (1-D) + H 2 (?) = H 2 (?) -H 2 (D ) 0 D1 Dmax D R(D) H(X) R1 RQ Q * * 第4章 率失真编码 内容提要 数据压缩是信息传输和处理的重要研究内容，率失真理论研究的就是在允许一定失真的前提下，对信源的压缩编码。率失真信源编码定理（香农第三定理）指出：率失真函数R (D) 就是在给定失真测度条件下，对信源熵可压缩的最低程度。 本章只限于研究率失真理论最基本的内容，失真测度，率失真函数，率失真函数的定义域，值域，性质及定量计算。R (D) 的计算很烦琐，文中通过二个例子介绍了几种特殊情况下R (D )的求法，一般情况只能用参数法求解。 第4章 率失真编码 第4章 率失真编码 1．失真测度d( x, y ) 给定离散信源 ，信道 输出符号yj引起的失真用 d (xi ,y j)（i =1, …,I j = 1, …, J）表示，简记为d i j，将所有的d i j列出来，可以得到下面的失真测度矩阵 (4-1) 在允许一定失真的前提下，从提高传输效率的角度出发，可以对信源信息量事先进行压缩再予传输，这章要讨论的问题就是给定一个失真度，求出在平均失真小于给定值的条件下，信源所能压缩的最低程度，即率失真函数R(D)。 4.1 失真测度与平均失真 【例4.1】 汉明（Hamming）失真测度 信源输出符号X = {x1, x2, …, xK}，信道输出符号Y = {y1, y2, …, yK}，约定失真测度 上述约定可以用矩阵表示为 式中di j ≥ 0 i, j = 1, 2, …, K为信源方发送符号xi