4信息率失真函数 信息论与编码 教学课件.pptVIP

第4章 信息率失真函数 前面讨论涉及到的比如信源熵等概念局限于无失真信源，此时信源输出的信息率等于信息熵。 此时，（对于信道而言）如果信道无干扰，输入符号概率分布满足一定的条件，那么：流经信道的互信息量等于信道容量，等于信源熵，等于信源的输出信息率。 但是，在很多场合，如果要求对信源所蕴含的信息量进行无失真地传输，则要求信源的输出速率和信道提供的信息传输率要充分大甚至无限大，这往往是不现实的。 比如连续信源，由于连续信源的绝对熵为无限大，若要求无失真地对其进行传输，则要求信道的信息传输率也为无限大，这是不现实的。因此不可能实现完全的无失真传输。 即使是对于离散信源，由于处理的信息量越来越大，使得信息的存储和传输成本越来越高。 另一方面，在很多场合，过高的信息率也没有必要。 例如：由于人耳能够接收的带宽和分辨率是有限的，因此对数字音频传输的时候，就允许有一定的失真，并且对欣赏没有影响。又如对于数字电视，由于人的视觉系统的分辨率有限，并且对低频比较敏感，对高频不太敏感，因此也可以损失部分高频分量(当然要在一定的限度内)。 所以，在实际通信过程中，绝对避免失真既不可能也没有必要。只要不超出允许的范围(限失真条件下)，信息的传输仍然是有意义的。 信息率失真函数就是研究在不同类型信源和信宿的各种允许最大失真限度的条件下，信源所必须传送的最小信息率R，称为信息率失真函数R(D)。 信息率失真函数理论是现代信息处理的理论基础。 相应地，在一定程度的误差范围内，对信源进行限失真信源编码也是非常必要的。 在限失真信源编码里，一个重要的问题就是：在一定程度的允许失真限度内，能把信源信息压缩到什么程度，即最少用多少比特数才能/就能充分地描述信源的特征。 本章主要介绍信息率失真理论的基本内容，包括信源的失真度和信息率失真函数的定义与性质，离散信源和连续信源的信息率失真函数计算方法等。 4.1 平均失真和信息率失真函数 在实际问题中，信号有一定的失真是可以容忍的。但是，如果失真大于某种程度后，信息质量将被严重损伤，甚至丧失实用价值。 所以，研究限失真信源编码，首先必须确定失真限度的定义。 4.1.1 失真函数 要研究信息率失真函数，首先要在通信系统的信源和信宿的联合空间上定义一个非负的失真函数(或称为失真测度、失真度)： d(xi，yj) :X×Y→R+(［0，+∞) ) 假如某一信源X，输出样值为xi，xi?{a1,…an}，经过有失真的信源编码器（或有干扰信道、或有失真的数据处理过程），输出Y，样值为yj，yj?{b1,…bm}。 如果xi＝yj， (i=1，2，…，n， j= 1，2，…，m)，则认为没有失真；如果xi?yj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi，yj)，以衡量用yj代替xi所引起的失真程度。 离散信源失真度的定义 对于离散信源，失真度一般定义为： 失真矩阵 由于输入符号有n个，输出符号有m个，所以共有n×m个d(xi，yj) 。单个符号的失真度的全体构成的矩阵，即： d被称为失真矩阵。 例4-1 设信源X＝{0，1}，接收变量Y＝{0，1，2}，定义失真函数为d(0，0)＝d(1，1)＝0，d(0，1)＝d(1，0)＝1，d(0，2)＝d(1，2)＝0.5，则失真矩阵 D为 又如，信源U＝{0，1，2}，接收变量V＝{0，1，2}，失真函数为d(ui，vj)＝|ui－vj|*2，求失真矩阵。由失真定义得： d(0，0)＝d(1，1)＝d(2，2)＝0 d(0，1)＝d(1，0)＝d(1，2)＝d(2，1)＝1 d(0，2)＝d(2，0)＝4 所以失真矩阵 D为 可见，失真函数的定义方法、大小是根据实际应用情况、人为主观定义的。 汉明失真 离散信源的失真函数的定义通常使用汉明失真。 当接收符号与发送符号相同时，就不存在失真和错误，即失真度为零；当接收符号与发送符号不同时，就存在失真。只要发送符号与接收符号不同，由此引起的失真都相同，即定义：失真度为常数1，则称为汉明失真或误码失真。 例 二元对称信源，信源U＝{0，1}，接收变量V＝{0，1}，在汉明失真定义下，失真函数为：d(0，0)＝d(1，1)＝0， d(0，1)＝d (1，0)＝1 它表示当信源发送符号0(或符号1)而信宿接收到符号0(或符号1)时，则认为无失真或无错误存在；反之，若发送信源符号0(或符号1)而信宿接收符号1(或符号0)时，则认为有错误，并认为这两种错误的后果是等同的。其失真矩阵为 离散对称信道的汉明失真矩阵 D如果为一方阵，则对角线上的元素为零。 连续信源失真度的定义 对于连续信源，失真度的定义有很多形式，有的物理意义比较明显，更多的是便于数学处理的定义。失真函数d(xi，y