第6章 限失真信源编码.docVIP

第6章 限失真信源编码 一、例题： 【例6.1】 二元对称信源，信源，接收变量，在汉明失真定义下，失真函数为： ， 其失真矩阵为 容易看出：对于离散对称信源，其汉明失真矩阵D为一个方阵，且对角线上的元素为零，即： 【例6.2】 信源U＝{0,1,2}，接收变量V＝{0,1,2},失真函数为，求失真矩阵。由失真定义得： d(0,0)＝d(1,1)＝d(2,2)＝0 d(0,1)＝d(1,0)＝d(1,2)＝d(2,1)＝1 d(0,2)＝d(2,0)＝4 所以失真矩阵D为 【例6.3】 离散无记忆信源输出二维随机序列，其中取自符号集，通过信道传输到信宿，接收N维随机序列，其中取自符号集，定义失真函数 求符号序列的失真矩阵。 解： 由N维信源序列的失真函数的定义得 所以 类似计算其他元素值，得到信源序列的失真矩阵为 【例6.4】 设信源符号有8种，而且等概率，即。失真函数定义为 假如允许失真度，即只要求收到的符号平均有一半是正确的。我们可以设想这样的方案： 方案一：对于这四个信源符号照原样发送，而对于都以发送。如图6.1(a)所示。 方案二：对于这四个符号照原样发送，而对于分别以发送。如图6.1(b)所示。 (a) 方案一 (b) 方案二 图6.1 例6.4有失真信源编码方案 如果进行无失真编码，即无失真传送这个信源，编码信息率为比特/信源符号。在上述要求下，试问需要多少信息率？ 方案一编码后需要的信息率为 比特/信源符号 方案二编码后需要的信息率为 比特/信源符号 可见，限失真信源编码需要的信息率小于信源熵，而且不同的编码方案可能得到不同的信息率。 【例6.5】 设二元对称信源，其概率分布，。而接收变量，设汉明失真矩阵为 计算这个信源的和。 解： 因为最小允许失真度 并能找到满足该最小失真的试验信道，且是一个无损无噪的试验信道，信道矩阵为 因此 【例6.6】 设二元对称信源，其概率分布，。而接收变量，采用汉明失真测度，计算和。 解： 可计算出最大允许失真度为 要达到最大允许失真度的试验信道，唯一确定为 即这个试验信道能正确传送信源符号，而传送时，接收信号一定为。那么，凡发送符号时，一定都错了。而出现的概率为，所以信道平均失真为。在这种试验信道条件下，可计算得 【例6.7】 某二元对称信源，采用汉明失真。假设允许失真度，试分析信息源所能压缩的理论极限值为多少？ 分析：在保真度准则下信息源所能压缩的理论极限值，就是函数。 解：该二元对称信源的率失真函数为 =0.342比特/信源符号 【例6.8】 设某二元无记忆信源 若假设此信源再现时允许失真存在，并定义失真函数为汉明失真。经过有失真信源编码后，得到的发送码字通过无噪无损广义信道传输，经译码后到达信宿，信宿得到的接收序列为。如图6.2所示。 （1）计算图6.2所示的有失真编码方案的信息传输率和平均失真； （2）图6.2所示的有失真压缩编码是否为最佳方案？ 图6.2 限失真压缩编码方法示例 解： （1）图6.2中的有失真信源压缩编码方案为：将信源的输出每N（这里N = 3）个符号组成一组，用矢量表示。因为信源符号0，1是等概率分布的，所以序列的不同形式共有种，并且都是等概率分布，为了进行压缩，不是传输所有8种不同的信源序列，而是只传输其中的两种。所采用的映射方法将 映射成来传输；而把 映射成来传输，即8种不同的序列映射成2种V序列来传输。这时输入端只有个不同的消息，完全可以用0和1来传输，映射关系为，。由此可见，通过这种编码方法，把原来传输的三个二元信源符号压缩成一个二元符号。因此编码后的信息率为 （比特/信源符号） 从接收端来看，当收到码字0或1时，就译成对应的信源序列和。和就是再现的信源序列，它与实际发送的信源序列U之间存在着失真。这失真是进行信源压缩编码后人为引起的，接收序列与发送序列U之间有很大差异，如图6.3所示。 图6.3 信源编码引起的失真 这种简单压缩编码的平均失真为 可见，图7.2所示的这种限失真编码方法压缩后信息率（比特/信源符号），而产生的平均失真等于1/4。 （2）现在的问题是对于等概率分布的二元信源U而言，在允许平均失真等于1/4的情况下，这种压缩方法是否是最佳的呢？信源输出信息率是否还可以进一步压缩呢？根据香农第三定理的含义，若允许失真度D = 1/4时，总可以找到一种压缩方法，使信源输出信息率压缩到极限值，可以求得 （比特/信源符号） 显然，。所以，在允许失真度为1/4时，对等概率分布的二元信源来说，上例中的压缩方法并不是最佳方法，即信源还可以进一步压缩。 二、讨论题： 1、如何理解信息率失真函数？ 2、如何理解限失真信源编码定理? 三、思考题： 1、限失真信源编码是否有实际意义？ 2、失真函数有哪些常见