信息论自学报告.doc

《》 题 目： 信息率失真函数 学 号： 姓 名： 于鹏伟 任课教师： 黄素娟 联系方式： 二零一四 年 2 月 18 日 信息率失真函数 1、基本概念 1.1失真函数与平均失真度 1、失真函数用来表征信源发出一个符号ai，而在接收端再现成符号bj所引起的误差或失真。d越小表示失真越小，等于0表示没有失真。可以将所有的失真函数排列成矩阵的形式称失真矩阵 常用的失真函数： （1） 当=1时，失真函数变为 此时的失真函数称为汉明失真函数。 （2） 这种失真函数称为平方误差失真函数，相应的失真矩阵称为平方误差失真矩阵。 2、平均失真度为失真函数的数学期望，即是在X和Y的联合概率空间P(XY)中的统计平均值。 若平均失真度不大于我们所允许的失真D(预先给定的某一限定值)，我们称此为保真度准则。 1.2信息率失真函数的定义 由于互信息取决于信源分布和信道转移概率分布，当p(ai)一定时，互信息I是关于p(bj/ai) 的下凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道p(bj /ai)使给定的信源p(ai)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即 对于给定的信源，在满足保真度准则下，必须传送的最小信息量,它既反映了用户容忍程度,也反映了信息率允许压缩的最小值,R(D)越大,越难压缩,反之可压缩率就大. 1.3信息率失真函数的性质 率失真函数的定义域为(0,Dmax)。 当平均失真D=0时，率失真函数R(D)=R(0)=H(X)。 当D=Dmax时，R(Dmax)=0。 将所有满足R(D)=0的D的最小值，定义为R(D)定义域的上限Dmax。 2、R(D)是关于D的下凸函数，因而也是关于D的连续函数。 3、R(D)是关于D的严格递减函数。 2. 离散信源的信息率失真函数 2.1 离散信源信息率失真函数的参量表达式 求解方法与求解一般信道容量的方法一样，是求在约束条件下的条件极值问题，可用拉格朗日乘子法。 以S为参量的平均失真函数D（S）和信息率失真函数R（S）。 参量S的说明 S为R(D)函数的斜率 。由于R(D)是严格递 减的下凸函数，所以S必为负值。 S是D的递增函数，D从0变到Dmax，S 将逐渐增加； 当D=0时(R(D)的斜率)：S的最小值趋于负 无穷。 当D=Dmax时：S达到最大；这个最大值也 是某一个负值，最大是0。 当DDmax时：在D=Dmax处，除某些特例外，S将从某一个负值跳到0，S在此点不连续。在D的定义域[0, Dmax]内，除某些特例外，S将是D的连续函数。 2.2 二元及等概率离散信源的信息率失真函数 设二元离散信源概率分布为 再设失真函数为对称函数，相应的失真矩阵为 输出符号集 ，则信息率失真函数 保真度准则下的信源编码定理 对于无失真信源编码来说，在允许一定失真的情况下，信源输出信息率最少可减少到信息率失真函数R(D) ，有可能是多个信源符号（符号序列）对应一个码字（码字序列）。失真信源编码定理就是关于信息率和失真关系的一个极限定理，也称香农第三定理，即是保真度准则下的离散信源限失真信源编码定理。 R(D) 是保真度准则下，信源信息率压缩的下限值。无失真信源编码信息率压缩的下限值是信源熵H(X)，而 所以香农第三定理是限失真信源信息率压缩的理论基础。 把香农第三定理和第二定理结合起来，有可能实现有效性和可靠性的优化。 香农三大定理的共同点：H(X)、C、R(D)分别为临界值，衡量通信能否满住要求的重要界限。 信源编码或信道编码典型案例的实现方案 数字电视 数字电视是数字电视系统的简称，是指音频、视频和数据信号从信源编码、调制到接收和处理均采用数字技术的电视系统。主要核心技术包括信源编码、信道编码和显示技术。 信源编码的目的是提高信源的传输效率，去除冗余度。信源编码技术解决的重点问题是数字音视频海量数据的编码压缩问题。 图像信号的常用压缩编码方法或技术： 图象预测编码：图象数据具有很强的相关性，因而可以通过对一个或多个像素的观测，预测出未来相邻像素的估计值，这就是预测编码的思想。 变换编码：变换编码法是将常