第三章-无失真信源编码资料.ppt

2.费诺编码(Fano) 1)将信源消息符号按其出现的概率大小依次排列为 2)将依次排列的信源符号按概率值分为两组，使划分后的两个组的概率之和近似相同，并对各组赋予一个二进制码元0和1 3)将每一大组的信源符号再分成两组，使划分后的两个组的概率之和近似相同，并对各组赋予一个二进制符号0和1。 4)如此重复，直至每个组只剩下一个信源符号为止。 5)信源符号所对应的码字即为费诺码（按顺序）。 X P(X ) X1, X2, X3, X4, X5, X6, X7, 0.20, 0.19, 0.18, 0.17, 0.15, 0.10, 0.01 例：对下列信源进行费诺编码 xi P(xi) 第一次分组 第二次分组 第三次分组 第四次分组 二元码字 码长Ki X1 0.20 0 0 00 2 X2 0.19 1 0 010 3 X3 0.18 1 011 3 X4 0.17 1 0 10 2 X5 0.15 1 0 110 3 X6 0.10 1 0 1110 4 X7 0.01 1 1111 4 费诺码的平均码长 ? 信息传输速率 编码效率： ? = 95.3% 3.香农编码 ①把信源发出的N个消息按其概率递减的次序排列，得 ②根据式 计算第i个消息的二进制代码组的长度Ki(取正整数) ③为了编出单义可译码组，首先计算出第i个消息的累加概率  (即不包括 Pi 本身的前(i-1)个累加概率)，再把 Pi 变换成二进制小数，去除小数点，取小数点后的 Ki 位数作为第i个消息的代码组 [说明] i=1时， pi = p(x0) =0 i=2时， pi = p(x1) + p(x0) = p(x1) i=3时， pi = p(x2) + p(x1) 例：设信源有7个符号，其二进制香农编码过程如下 Ki [小结] 1.香农码,费诺码,霍夫曼码均考虑了信源概率分布特性 ——大概率用短码，因而平均码短，称为最佳编码， 2.三者中，以霍夫曼码最好，应用广泛 3.局限性——均需预知概率分布，主要用于无记忆信源 4. Shannon-Fano-Elias 码的扩展就是著名的算术编码 算术码的复杂度与编码序列的长度呈线性关系 算术码在FAX和JPEG压缩中得到了广泛的应用 3.6游程(长度)编码 RLC——Run-Length Code 无失真编码，适用于二元相关信源 二元——0游程后为1，反之亦然 相关——有长0、长1 一、术语 游程——序列中，相连的同种元素的统称 游程长度——同种元素的长度(连码个数) 游程(长度)序列——由游程长度构成的序列 游程长度编码——对游程长度序列进行编码 二、编码 1. [例] 0 0 0 1 0 1 1 1 0 0 1 0 0 0 1…原序列(二元) 3 1 1 3 2 1 3 1…游程序列 2. 说明 (1) 可逆 (2) 规定：从“0”游程开始(此后交替) (3) 游程序列若为多元序列， 此后可用霍夫曼编码等编码 (4) 原则上亦可用于m元序列，但需增设标志位，因而减小了压缩比 考虑黑白游程的编码 三、分析 设原二元序列为独立序列,且“0”,“1”概率为p0，p1 1. “0”游程长度L(0)的概率：p[L(0)]=p0L(0)p1 2. 3. “0”游程长度L(0)的熵： 4. ”0”游程长度L(0)的平均长度：l0=E[L(0)]=（1/p1） … 1 0 … …0 1 … L(0)个 同理， p[L(1)]=p1L(1)p0 l1=E[L(1)]=（1/p0） 5. 原二元序列的熵H(X) [结论] 游程变换后，符号熵不变 (解释——是可逆变换) … 0 1 … …1 0 … L(1)个 四、游程长度序列的后续编码——线性码 游程长度可为1～∞，欲严格对应困难 (霍夫曼编码需严格对应概率) 修