问题假设已给定信源概率Pi和失真函数dij,在约束条件下,.pptVIP

第二节 离散信源和连续信源的R(D)计算 问题: 假设已给定信源概率Pi和失真函数dij，在约束条件下，求信源的R（D）函数的极小值问题 ? R（D）三种特殊表示 (1) 当d(x,y)=(x-y)2, p(x)= 时， R（D）= (2) 当d(x,y)= p(x)= 时， R（D）= (3) 当D(x,y)= 时，R（D）=H（p）- H?（D） R（D）曲线见图4-2-1 这些R（D）可画成三条曲线 分析： (1) 它们都有一最大失真值 Dmax．对应 R（D）＝0。当允许的平均失真D大于这最大值时，R（D）当然也是零，也就是不用传送信息已能达到要求。上述三种情况的 Dmax分别为 和p（若p＜1/2，不然就是1-p） (2) 当D＜Dmax时，R（D）就已不是零，随着D的减小，R（D）单调地增加； (3) 当D=0，前两种情况下R（D）趋于无限，这就是说，大于信息量无限大的连续信源符号，无法进行无损编码，除非信息率R趋向无限大。对于离散信源就不同，在第三种情况下，D=0时，R（0）=H（p），这就是无损编码时，所需的信息率不能小于信源的符号熵。 例4－2－1 设输人输出符号表为X＝Y={0,1}，输入概率分布P（x）＝{P,l一p}，0＜p，失真矩阵为 解 ： (1)按下式解方程 (2)按下式解方程 写成矩阵形式 (3) 按下式得转移概率分布Pij (4) 求 （5）计算R（D），将上面各式代入，则有 结果得到如图4-2-2所示的曲线： 第三节 限失真信源编码定理 限失真信源编码定理： 设离散无记忆信源X的信息率失真函数为R（D），则当信息率R＞R（D），只要信源序列长度 L足够长，一定存在一种编码方法，其译码失真小于或等于D＋ ， 为任意小的正数；反之，若R＜R（D），则无论采用什么样的编码方法,其译码失真必大于D。 说明: (1)如果是二元信源，对于任意小的 ＞0，每一个信源符号的平均码长满足如下公式 第四节 常用信源编码方法简介 4.4.1 游程编码 游程编码基本思想: 将任何(二元)序列变换成一一对应的游程长度序列，按哈夫曼编码或其他方法处理以达到压缩码率的目的 . 什么叫二元序列游程和游程长度? 在二元序列中，只有两种符号，即“0”和“1”，这些符号可连续出现，连“0”这一段称为“0”游程，连“1”这一段称为“1”游程。它们的长度分别称为游程长度L（0）和L（l）。“0”游程和“l”游程总是交替出现的。如果规定二元序列是以“0”开始，第一个游程是“0”游程，第二个必为“1”游程，第三个又是“0”游程等等。对于随机的二元序列，各游程长度将是随机变量，其取值可为1，2，3，…，直到无限。 说明: (1) 例 如有一个二元序列：000101110010001… 可变换成游程序列：3113213… (2) 对二元序列进行哈夫曼编码时，应先测定“0”游程长度和“l”游程长度的概率分布，或由二元序列的概率特性去计算各种游程长度的概率。 什么叫多元序列游程和游程长度? 对于多元序列也存在相应的游程序列。例如m元序列中，可有m种游程。连着出现符号ar的游程，其长度L（r）就是“r”游程长度。这也是一个随机变量。用L（r）也可构成游程序列。但是这种变换必须再加一些符号，才能成为一一对应或可逆的. 说明: (1) 与二元序列变换所得的游程序列不同，这里每个“r”游程的前面和后面出现什么符号是不确定的，除r外的任何符号都是可能的，因此这一游程之后是何种符号的游程就无法确定，除非插人一个标志说明后一游程的类别。上述的附加标志可能抵销压缩编码所得的好处，对原来的多元序列直接编码，或许会更有效一些,所以把多元序列变换成游程序列再进行压缩编码是没有多大意义的. (2) 一般情况下，游程长度越大，其概率越小；这在以前的计算中也可看到，而且将随长度的增大渐趋向零。对于小概率的码字，其长度未达到概率匹配或较长，损失不会太大，也就是对平均码字长度影响较小。这样就可对长游程不严格按哈夫曼码步骤进行；在实际应用时，常采用截断处理的方法。 (3) 游程编码只适