2.4 离散无失真信源编码定理.pptVIP

无失真信源编码定理要研究的内容 若信源输出符号序列的长度L＞1，即 变换成由K个符号组成的码序列（码字) 变换的要求: (1)能够无失真或无差错地从Y恢复X，也就是能正确地进行反变换或译码(惟一可译码)。 (2)传送Y时所需要的信息率最小 。 由于Yk可取m种可能值，即平均每个符号输出的最大信息量为log2m，K长码字的最大信息量为Klog2m。用该码字表示L长的信源序列，则送出一个信源符号所需要的信息率平均值为 其中 M=mK 是Y 所能编成的码字的个数。 无失真信源编码定理要研究的内容: (1)最小信息率为多少时，才能得到无失真的译码？ (2)若小于这个信息率是否还能无失真地译码？ 一、 信源的符号集和符号序列 1. 信源符号集: 信源发出的符号消息的集合，记为X， 设 X 有n个符号：X ={ a1 , a2 , … , an }. 2. 信源符号序列:由信源符号集合 X 中的符号组成长度 为L的符号序列， L为信源符号序列长 , 不同的符号序列共有 nL。 若L=1，则信源符号序列为信源符号集合中的符号。 二、码元和码字 1. 码元(符)集 信道可传输的基本符号的集合, 记为Y; 设Y有m个符号： Y={ b1 , b2 , …, bi , …, bm } ，其中 bi 称为码元或码符。 m 元信道: 可传输m个基本符号的信道； 二元信道: 可传输 2个基本符号的信道. 这是一种最常用的信道, 其基本符号常用 0 , 1 表示。 2. 码字: 由码元组成的序列称为码字，记为Yi . 码字Yi 的码元个数 Ki 称为码字Yi的码长。 所有码字Yi 的码长 Ki 均相等称为定长码。 码字Yi 的码长 Ki 不全相等称为变长码。 三、编码与译码 1. 信源编码：将信源符号 xi 或符号序列 Xi 按一种规则 映像成码字Yi的过程。 2. 无失真编码：信源符号到码字的映射必须一一对应。 3. 译码：从码符号到信源符号的映射。 4. 码表：所有映射规则的集合。 四、 许用码和禁用码 1. 许用码字：信源的符号ai或符号序列Xi与码字Yi定义 了对应关系的码字。 2. 禁用码字：信源的符号ai或符号序列Xi与码字Yi未定 义对应关系的码字。 3. 许用码字的全体称为码集。 表中的码1、码2和码4都为非奇异码；码3为奇异码?. 4. 按译码的即时性分类 非即时码：接收端收到一个完整的码字后，不能立即译码，还需要等到下一个码字开始接收后才能判断是否可以译码。 即时码：接收端收到一个完整的码字后，就能立即译码；即时码又称为非延长码、前缀码、异前置码、异字头码或逗点码。 例：码流 … a1→0 a2→01 a3→11 译码为 a2 a1a1a3a1? 非即时码 码流 … a1→0 a2→10 a3→11 译码为 a1a2a1a3a1a1 即时码 异前缀码(即时码)指的是码集任何一个码不能是其他码的前缀。即时码必定是唯一可译码，惟一可译码不一定是即时码。 5. 有实用价值的分组码 分组码是非奇异码、惟一可译码、即时码 。 分组码的分类 码 码树图 例1 a1→1 a2→01 a3→001 A○ 0 1 ○ ● a1 例 2 a1→1 a2→10 a3→11 0 1 ○ ●a2 A ○ 1 1 ●a3 ● a1 0 1