信息论与编码课件第四章讲述.ppt

信息率失真函数 第4章 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算 4.1.1 失真函数 1、失真函数的定义 假如某一信源X,输出样值xi , xi∈{a1,a2,…an},经信道传输后变成yj , yj ∈{b1, b2,…bm},如果: xi ＝ yj 没有失真 xi ≠ yj 产生失真 失真函数的含义: 即失真函数d(xi,yj),此函数衡量用yj代替xi所引起的失真程度。即失真的大小。 失真函数定义为： 失真函数 2、失真矩阵 将所有的d(xi,yj)排列起来,用矩阵表示为: 失真函数 失真函数 4、汉明失真矩阵（也是一种误码失真）： 4.1.2 平均失真 1、单符号离散信源的平均失真 xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量,有限失真时的信源（总体）失真值只能用数学期望表示 将失真函数的数学期望称为平均失真： 平均失真 2、两者的区别 失真函数d(xi,yj)： 描述了某个信源符号通过传输后失真的大小 平均失真 ： 描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真 平均失真 3、L长序列编码 如果假定离散信源输入符号序列X＝{X1X2… Xl… Xn},其中L长符号序列xi =[xi1xi2…xiL],经信源编码后,输出符号序列Y={Y1Y2…Yl…Ym},其中L长符号序列yj=[yj1yj2…yj L ] 失真函数定义为 4.1.3 信息率失真函数R(D) 1、保真度准测 若平均失真度 不大于我们所允许的失真,即 信息率失真函数R(D) 2、D失真允许的实验信道 -满足保真度准则的试验信道。 满足 条件的所有转移概率分布pij ,构成了一个信道集合 信息率失真函数R(D) 3、信息率失真函数R(D)： 在限定失真为D的条件下，信源输出的最小信息速率。 信息率失真函数R(D) 4、信息率失真函数的求法： PD是所有满足保真度准则的试验信道集合,因而可以在集合PD中寻找某一个信道pij,使I (X,Y)取极小值。 离散无记忆信源 例2 已知编码器输入的概率分布为p(x)={0.5 ,0.5} 信道矩阵 若编码器输入的概率分布不变仍为p(x)={0.5 ,0.5} 但信道矩阵 信道容量和信息率失真函数的区别 1、计算不同 平均互信息I(X;Y)： 信源的概率分布p(xi)的上凸函数。 信道传递概率p(yj|xi)的下凸函数。 信道容量和信息率失真函数的区别 2、反映的事物不同 信道容量： 假定信道固定的前提下,选择一种试验信源使信息传输率最大。 它所反映的是信道传输信息的能力,是信道可靠传送的最大信息传输率。 一旦找到了信道容量,它就与信源不再有关,而是信道特性的参量,随信道特性的变化而变化 不同的信道其信道容量不同。 信道容量和信息率失真函数的区别 信息率失真函数： 假定信源给定的情况下,用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。 它反映的是信源可以压缩的程度,是在满足一定失真度要求下信源可压缩的最低值。 一旦找到信息率失真函数,就与选择的试验信道不再有关,而只是信源特性的参量 不同的信源其R(D)不同。 信道容量和信息率失真函数的区别 3、目地不同 研究信道容量： 充分利用已给信道,使传输的信息量最大，以提高通信的正确性 研究信息率失真函数 解决在已知信源和允许失真度D的条件下,使信源必须传送给信宿的信息率最小。即用尽可能少的码符传送尽可能多的信源消息,以提高通信的有效性。 例1：设信源的符号表为A={al,a2,…,a2n},概率分布为p(ai)=1/2n,i=1,2…2n,失真函数规定为 平均失真 4.1.4 信息率失真函数的性质 1、R(D)的定义域 信息率失真函数的定义域问题就是在信源和失真函数已知的情况下,允许平均失真度D的最小和最大取值问题。 由于平均失真度是非负实数d(xi,yj)的数学期望,因此也是非负的实数,即 的下界是0。 R(D)的定义域 2、平均失真度的最小值 Dmin 信源的最小平均失真度： R(D)的定义域 3、 R(D)的值域 R(D)的定义域为[Dmin，Dmax ]。 通常Dmin = 0， R(Dmin) = R(0)=H(X) 当 D≥Dmax时, R(D) = 0 当 0=Dmin ≤D≤Dmax时, 0 ≤R( Dmax) ≤ R(D) ＜H(X), 因此：