第章信息论与编码.pptVIP

信息率失真函数 第4章 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算 失真 信道编码定理——欲无失真，必 R C 若 R C，必失真 失真必要性—— 连续信源R趋向于无穷大，必有失真 压缩亦有失真 失真可能性——终端性能有限，如人眼,人耳 研究：信息率～允许失真——信息率失真理论 4.1.1 失真函数 假如某一信源X,输出样值xi , xi∈{a1,a2,…an},经信道传输后变成yj , yj ∈{b1, b2,…bm},如果: xi ＝ yj 没有失真 xi ≠ yj 产生失真 失真的大小,用一个量来表示,即失真函数d(xi,yj),以衡量用yj代替xi所引起的失真程度。 失真函数定义为： 失真函数 将所有的d(xi,yj)排列起来,用矩阵表示为: 失真函数 汉明失真矩阵 4.1.2 平均失真 将失真函数的数学期望称为平均失真： ? 对于连续随机变量同样可以定义平均失真 L长序列编码 如果假定离散信源输出符号序列X＝{X1X2… Xl… XL},其中L长符号序列xi =[xi1xi2…xiL],经信源编码后,输出符号序列Y={Y1Y2…Yl…YL},其中L长符号序列yj=[yj1yj2…yjL ],则失真函数定义为 4.1.3 信息率失真函数R(D) 4.1.3 信息率失真函数R(D) 无论是无噪信道还是有噪信道: R＜C 总能找到一种编码使在信道上能以任意小的错误概率,以任意接近C的传输率来传送信息 R＞C 就必须对信源压缩,使其压缩后信息传输率R’小于信道容量C,但同时要保证压缩所引入的失真不超过预先规定的限度。 信息压缩问题就是对于给定的信源,在满足平均失真 的前提下,使信息率尽可能小。 信息率失真函数R(D) 若平均失真度 不大于我们所允许的失真,即 满足 条件的所有转移概率分布pij ,构成了一个信道集合 信息率失真函数R(D) R(D)： 在限定失真为D的条件下信源输出的最小信息率。 信息率失真函数 PD是所有满足保真度准则的试验信道集合,因而可以在集合PD中寻找某一个信道pij,使I (X,Y)取极小值。 离散无记忆信源 例已知编码器输入的概率分布为p(x)={0.5 ,0.5} 信道矩阵 编码器输入的概率分布为p(x)={0.5 ,0.5} 信道矩阵 平均互信息 平均互信息I(X;Y)： 信源的概率分布p(xi)的上凸函数。 p(yj|xi)一定 信道传递概率p(yj|xi)的下凸函数。 p(xi)一定 率失真函数与信道容量的比较 4.1.4 信息率失真函数的性质 1、R(D)的定义域 率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度D的最小和最大取值问题。 由于平均失真度是非负实数d(xi,yj)的数学期望,因此也是非负的实数,即 的下界是0。 R(D)的定义域 Dmin 和R(Dmin) 信源的最小平均失真度： R(D)的定义域 R(D)的定义域 R(D)的定义域为[Dmin，Dmax ]。 通常Dmin = 0， R(Dmin) = H(X) 当 D≥Dmax时, R(D) = 0 当 0 ≤D≤Dmax时, 0＜R(D) ＜H(X) R(D)的定义域 Dmax：定义域的上限。 Dmax是满足R(D)=0时所有的平均失真度中的最小值。 R(D)的定义域 由于I(X,Y) = 0的充要条件是X与Y统计独立,即： 例4-3:设输入输出符号表为X=Y={0,1},输入概率分布p(x)={1/3,2/3},失真矩阵 例:设输入输出符号表为X=Y={0,1},输入概率分布p(x)={1/3,2/3},失真矩阵 信息率失真函数的性质 1、R(D)是非负的实数, R(D)≥0。 其定义域为0~Dmax , 其值为0~H(X)。 当D＞Dmax时,R(D)≡0 2、R(D)是关于D的下凸函数 R(D)在定义域内是失真度D的U型下凸函数 3、R(D)的单调递减性及连续性 容许的失真度越大，所要求的信息率越小。反之亦然。 4.2 离散信源和连续信源R(D)计算 给定信源概率pi和失真函数dij,就可以求得该信源的R(D)函数。 它是在保真度准则下求极小值的问题。 但要得到它的显式表达式,一般比较困难通常用参量表达式。 即使如此,除简单的情况外实际计算还是困难的,只能用迭代逐级