4.1.4 信息率失真函数的性质.pptVIP

(4) 求 （5）计算R（D），将上面各式代入，则有 结果得到如图4-2-2所示的曲线： ■ 限失真信源编码定理： 设离散无记忆信源X的信息率失真函数为R（D），则当信息率R＞R（D），只要信源序列长度 L足够长，一定存在一种编码方法，其译码失真小于或等于D＋ ， 为任意小的正数；反之，若R＜R（D），则无论采用什么样的编码方法,其译码失真必大于D。 第三节 限失真信源编码定理 说明: (1)如果是二元信源，对于任意小的 ＞0，每一个信源符号的平均码长满足如下公式 则 在失真限度内使信息率任意接近R（D）的编码方法存在。 (2) 该定理只能说明最佳编码是存在的，而具体构造编码方法却一无所知，因而就不能像无损编码那样从证明过程中引出概率匹配的编码方法。一般只能从优化的思路去求最佳编码。实际上，迄今尚无合适的可实现的编码方法来接近R（D）这个界。 4.4.1 游程编码 游程编码基本思想: 将任何(二元)序列变换成一一对应的游程长度序列，按哈夫曼编码或其他方法处理以达到压缩码率的目的 . 第四节 常用信源编码方法简介 什么叫二元序列游程和游程长度? 在二元序列中，只有两种符号，即“0”和“1”，这些符号可连续出现，连“0”这一段称为“0”游程，连“1”这一段称为“1”游程。它们的长度分别称为游程长度L（0）和L（l）。“0”游程和“l”游程总是交替出现的。如果规定二元序列是以“0”开始，第一个游程是“0”游程，第二个必为“1”游程，第三个又是“0”游程等等。对于随机的二元序列，各游程长度将是随机变量，其取值可为1，2，3，…，直到无限。 说明: (1) 例 如有一个二元序列：00101110010001… 可变换成游程序列：3113213… (2) 对二元序列进行哈夫曼编码时，应先测定“0”游程长度和“l”游程长度的概率分布，或由二元序列的概率特性去计算各种游程长度的概率。 什么叫多元序列游程和游程长度? 对于多元序列也存在相应的游程序列。例如m元序列中，可有m种游程。连着出现符号ar的游程，其长度L（r）就是“r”游程长度。这也是一个随机变量。用L（r）也可构成游程序列。但是这种变换必须再加一些符号，才能成为一一对应或可逆的. 说明: (1) 与二元序列变换所得的游程序列不同，这里每个“r”游程的前面和后面出现什么符号是不确定的，除r外的任何符号都是可能的，因此这一游程之后是何种符号的游程就无法确定，除非插人一个标志说明后一游程的类别。上述的附加标志可能抵销压缩编码所得的好处，对原来的多元序列直接编码，或许会更有效一些,所以把多元序列变换成游程序列再进行压缩编码是没有多大意义的. (2) 一般情况下，游程长度越大，其概率越小；这在以前的计算中也可看到，而且将随长度的增大渐趋向零。对于小概率的码字，其长度未达到概率匹配或较长，损失不会太大，也就是对平均码字长度影响较小。这样就可对长游程不严格按哈夫曼码步骤进行；在实际应用时，常采用截断处理的方法。 (3) 游程编码只适用于二元序列，对于多元信源，一般不能直接利用游程编码；但在下面介绍的冗余位编码，也可认为是游程编码在多元信源的一种应用。 冗余位编码思想? 设有多元信源序列 （4-4-1） 其中x是含有信息的代码，取值于m元符号集A， 可称为信息位；y是冗余位，它们可为全零，即 使未曾传送在收端也能恢复。这样的序列可用下 列两个序列来代替： 111，…，100，…，000111，…，111000和 （4-4-2） 前一个序列中，用“1”表示信息位，用“0”表示冗余位；后一个序列是取消冗余位后留下的所有信息位。显然，从（4-4-1）式变换成（4-4-2）式中的两个序列是一一对应的，也就是可逆的。如果把（4-4-2）式中的两个序列传送出去，只要没有差错，在收端就可恢复（4-4-2）式中的多元信源序列。这样就把一个多元序列分解为一个二元序列和一个缩短了的多元序列。它们可用不同的方法来编码以利于更有效地压缩码率。 例 (1) 在电话通信中，讲话时常有间隙，如字句间的停顿，听对方讲话而静默. (2) 图象信源中，背景基本上不变，并在图象中占相当大一部分，而其值为常量相当于平均亮度，一般也可以不传送. (3) 在数据信