第4章_离散信源编码理论方案.ppt

第*页 * 4.5.1 信息率失真函数与信息价值 说明： 信息价值随着信息率的增加而增加； 获取信息要付出代价，得到信息会获得利益。一般来说，获得的信息越多，付出的代价也越大； 信息价值的概念从理论上定量地证明了信息是财富的假说； 进一步的研究证明：信息还可以代替人力、物质、能源和资本，从而得到更多的经济利益。 这些问题的深入讨论涉及到信息经济学理论，属于广义信息论范畴。 4.5 信 息 率 失 真 函 数 与 信 道 容 量 第*页 * 4.5.2 信道容量与信息率失真函数的比较 从数学上说，信道容量和信息率失真函数的问题，都是求平均互信息极值问题，有相仿之处，故常称为对偶问题。 (1) 求极值问题 (2) 特 性 (3) 解决的问题 4.5 信 息 率 失 真 函 数 与 信 道 容 量 第*页 * 4.5.2 信道容量与信息率失真函数的比较 (1) 求极值问题 平均互信息 I(X;Y) 是信源概率分布 p(xi)(i=1,2,…,n) 或概率密度函数 p(x) 的上凸函数。根据上凸函数定义，如果 I(X;Y) 在定义域内对 p(xi) 或 p(x) 的极值存在，则该极值一定是极大值。 信道容量就是在固定信道情况下，求平均互信息极大值的问题，即： 4.5 信 息 率 失 真 函 数 与 信 道 容 量 第*页 * 4.5.2 信道容量与信息率失真函数的比较 (1) 求极值问题 I(X;Y) 又是信道转移概率分布 p(yj /xi)(i=1,2,…,n；j=1,2,…,m) 或条件概率密度函数 p(y/x) 的下凸函数，因此在满足保真度准则条件下， I(X;Y) 对 p(yj /xi) 或 p(y/x) 的条件极值若存在，则一定是极小值。信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即： 4.5 信 息 率 失 真 函 数 与 信 道 容 量 第*页 * 4.5.2 信道容量与信息率失真函数的比较 (2) 特 性 信道容量 C 一旦求出后，就只与信道转移概率 p(yj /xi) 或条件概率密度 p(y/x) 有关，反映信道特性，与信源特性无关； 信息率失真函数 R(D)一旦求出后，就只与信源概率分布 p(xi) 或概率密度函数 p(x) 有关，反映信源特性，与信道特性无关。 4.5 信 息 率 失 真 函 数 与 信 道 容 量 第*页 * 4.5.2 信道容量与信息率失真函数的比较 (3) 解决的问题 信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现； 信息率失真函数是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。 4.5 信 息 率 失 真 函 数 与 信 道 容 量 第*页 * 设一离散平稳无记忆信源的输出随机变量序列为X=(X1,X2,…,XL)，若该信源的信息率失真函数是 R(D)，并选定有限的失真函数。对于任意允许平均失真度 D≥0，和任意小的ε0，当信息率 RR(D) ，只要信源序列长度 L 足够长，一定存在一种编码方式 C，使译码后的平均失真度 ； 反之，若：RR(D)，则无论用什么编码方式，必有： 即译码平均失真必大于允许失真。 4.7 香农第三定理 香农第三定理也称为限失真编码定理，与无失真编码的香农第一定理一样，讨论码的存在性问题，具有重要的理论意义。 为限失真编码定理为： 第*页 * 4.7 香农第三定理 限失真编码也称为有损数据压缩，数据压缩的目的是为了传输或者存储信息。信息率失真函数 R(D) 一旦求出后，就只与信源概率分布 p(xi) 或概率密度函数 p(x) 有关，反映信源特性，与信道特性无关。 从数据压缩角度来看，信息传输率就是信源编码后每个信源符号的输出平均码长。 从信息论的角度来看，限失真编码实际上就是按照一定的规则对信源符号进行合并，所以经过信源译码后，信宿接收到的符号熵减小了。 假设信源的熵为H(X)，编码进行符号合并后信宿接受的符号集合熵为H(Y)=R′，而H(Y)=R′等于信源编码器输出码的熵，则熵的含义就是表示每个符号的平均码长。 第*页 * 4.7 香农第三定理 　　(1) 能够达到信息率失真函数的最佳编码如何实现。对于给定的平均失真D，采用何种编码方法能够使得编码输出的码率(信息传输率)达到下限，即R′=R(D)；或者在码率给定情况下，采用何种编码方法的平均失真能够达到理论的下限。 　　(2) 失真测度问题。 信息率失真函数是建立在失真测度d(ai，bj)基础上，而失真测度与再现符