第七章限失真的信源编码.pptVIP

平均互信息I(X;Y)： 信源的概率分布p(xi)的上凸函数。 信道传递概率p(yj|xi)的下凸函数。 信道容量 信道容量： 假定信道固定的前提下,选择一种试验信源使信息传输率最大。 它所反映的是信道传输信息的能力,是信道可靠传送的最大信息传输率。 一旦找到了信道容量,它就与信源不再有关,而是信道特性的参量,随信道特性的变化而变化 不同的信道其信道容量不同。 信息率失真函数 信息率失真函数： 假定信源给定的情况下,用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。 它反映的是信源可以压缩的程度,是在满足一定失真度要求下信源可压缩的最低值。 率失真函数一旦找到,就与求极值过程中选择的试验信道不再有关,而只是信源特性的参量 不同的信源其R(D)不同。 研究信道容量： 充分利用已给信道,使传输的信息量最大,而发生错误的概率任意小。 研究信息率失真函数： 解决在已知信源和允许失真度D的条件下,使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息,以提高通信的有效性。 例：设信源的符号表为A={al,a2,…,a2n},概率分布为p(ai)=1/2n,i=1,2…2n,失真函数规定为 平均失真 7.2.3 信息率失真函数的性质 1、R(D)的定义域 率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度D的最小和最大取值问题。 由于平均失真度是非负实数d(xi,yj)的数学期望,因此也是非负的实数,即 的下界是0。 R(D)的定义域 Dmin 和R(Dmin) 信源的最小平均失真度： R(D)的定义域 R(D)的定义域 R(D)的定义域为[Dmin，Dmax ]。 通常Dmin = 0， R(Dmin) = H(X) 当 D≥Dmax时, R(D) = 0 当 0 ≤D≤Dmax时, 0＜R(D) ＜H(X) R(D)的定义域 Dmax：定义域的上限。 Dmax是满足R(D)=0时所有的平均失真度中的最小值。 R(D)的定义域 由于I(X,Y) = 0的充要条件是X与Y统计独立,即： 例4-3:设输入输出符号表为X=Y={0,1},输入概率分布p(x)={1/3,2/3},失真矩阵 例:设输入输出符号表为X=Y={0,1},输入概率分布p(x)={1/3,2/3},失真矩阵 信息率失真函数的性质 1、R(D)是非负的实数, R(D)≥0。 其定义域为0～Dmax , 其值为0～H(X)。 当D＞Dmax时,R(D)≡0 2、R(D)是关于D的下凸函数 R(D)在定义域内是失真度D的U型下凸函数 3、R(D)的单调递减性及连续性 容许的失真度越大，所要求的信息率越小。反之亦然。 离散信源R(D)计算 给定信源概率pi和失真函数dij,就可以求得该信源的R(D)函数。 它是在保真度准则下求极小值的问题。 但要得到它的显式表达式,一般比较困难通常用参量表达式。 即使如此,除简单的情况外实际计算还是困难的,只能用迭代逐级逼近的方法。 二元对称信源的R(D)函数 设二元对称信源X={0,1},其概率分布p(x)=[p,1-p],接收变量Y={0,1},汉明失真矩阵 这个试验信道能正确传送信源符号x=1,而传送信源符号x=0时,接收符号一定为y=1 凡发送符号x=0时,一定都错了。而x=0出现的概率为p,所以信道的平均失真度为p 。 在这种试验信道条件下，可计算得 R(Dmax) = R(p) = 0 因而最小允许失真度Dmin=0。 并能找到满足该最小失真的试验信道,且是一个无噪无损信道,其信道矩阵为 * * 限失真的信源编码问题 允许一定的失真度下，能将信源信息压缩到什么程度？（最少需要多少比特才能在收端描述信源？） 一定的信息传输率R下，允许的最大失真是多少？ 相关问题 失真如何度量？ 率失真函数如何计算？ 7.1 失真测度 7.1.1 失真函数 假如某一信源X,输出样值xi , xi∈{a1,a2,…an},经信道传输后变成yj , yj ∈{b1, b2,…bm},如果: xi ＝ yj 没有失真 xi ≠ yj 产生失真 失真的大小,用一个量来表示,即失真函数d(xi,yj),以衡量用yj代替xi所引起的失真程度。 失真函数定义为： 将所有的d(xi,yj)排列起来,用矩阵表示为: 失真函数d(xi,yj)： 描述了某个信源符号通过传输后失真的大小 例：设信源符号序列为X={0,1},接收端收到符号序列为Y= {