3无失真信源编码.ppt

第三章 无失真信源编码 3.1 编码的相关概念 3.2 定长编码定理 3.3 变长编码定理 3.4 最佳编码 无失真信源编码 为什么要对进行编码？ 1.信源发出的消息符号可能不适合信道的传输，将信源发出的消息符号转换为适合信道传输的符号。 2.信源消息确定后，提高通信的有效性--信源编码。 3.提高通信的可靠性 , 编码具有发现错误或纠正错误的抗干扰能力---信道编码 。 4.提高通信的安全性---加密编码。 3.1 编码的相关概念 3.1.1 信源编码的定义 3.1.2 信源编码的研究方法 3.1.3 编码相关概念 3.1.4 唯一可译码的存在条件 编码的相关概念 信源编码的定义 信源编码定义：指定能够满足信道特性/适合于信道传输的符号序列/码序列，来代表信源输出的消息。 完成编码功能的器件称为编码器。 离散信源输出的码序列 离散信源输出的消息是由一个个离散符号组成的随机序列——信源符号序列； X=(X1X2…Xl…XL) Xl∈{x1,x2,…,xi,…xn} 信源编码就是把信源输出的随机符号序列变成码序列。 Y=(Y1Y2…Yk…YK) Yk∈{y1,y2,…,yj,…ym} 信源编码的研究方法 研究方法 研究信源编码时，将信道编码和译码看成是信道的一部分，而突出信源编码； 信源编码的研究方法 研究信道编码时，将信源编码和译码看成是信源和信宿的一部分，而突出信道编码。 信源编码的研究方法 讨论无失真信源编码可以先不考虑抗干扰问题，所以它的数学模型比较简单，如图所示。 编码相关概念 码元和码字 码元(符)集：信道可传输的基本符号的集合, 记为Y; 设 Y 有m个符号：Y={y1,y2,…,ym}，其中yi称为码元或码符。 m 元信道: 可传输m个基本符号的信道； 二元信道: 可传输 2个基本符号的信道。这是一种最常用的信道, 基本符号常用 0 , 1 表示。 码字: 由码元组成的序列称为码字，记为Yi 。 码字Yi的码元个数 Ki 称为Yi的码长。 所有码字Yi的码长 Ki 均相等称为定长码。 码字Yi的码长 Ki不全相等称为变长码。 编码相关概念 编码与译码 信源编码：将信源符号xi或符号序列X按一种规则映射成码字Yj的过程。 无失真编码：信源符号到码字的映射必须一一对应。 译码：从码符号到信源符号的映射。 码表：所有映射规则的集合。 编码相关概念 许用码和禁用码 许用码字：信源的符号xi或符号序列X与码字Yj定义了对应关系的码字。 禁用码字：信源的符号xi或符号序列X与码字Yj未定义对应关系的码字。 许用码字的全体称为码集。 编码相关概念 分组码（块码）分类 按码字的码长分类 定长码：码集中所有码字的码长相等。 变长码：码集中所有码字的码长不全相等。 按信源符号与码字对应关系分类 非奇异码：信源符号与码字是一一对应的。 奇异码：信源符号与码字不是一一对应的。 编码相关概念/分类 按译码唯一性分类 唯一可译码：对于多个码字组成的有限长码流，只能唯一地分割一个个的码字。唯一可译码又称为单义码。 唯一可译码在传输过程中不需要同步码。 非唯一可译码：对有限长码流，不能唯一地分割一个个的码字。 例：码流 100111000 … 码1：x1→0 x2→10 x3→11 可分割10, 0, 11, 10, 0, 0 码2：x1→1 x2→10 x3→11 则无法唯一分割 编码相关概念/分类 按译码的即时性分类 非即时码：接收端收到一个完整的码字后，不能立即译码；还需要等到下一个码字开始接收后才能判断是否可以译码。 即时码：接收端收到一个完整的码字后，就能立即译码；即时码又称为非延长码或异前缀码。 例：非即时码 ，码流 … x1→0 x2→01 x3→11 译码为 x2, x1, x1, x3, x1, ? 即时码，码流 … x1→0 x2→10 x3→11 译码为 x1, x2, x1, x3, x1, x1 编码相关概念/分类/举例 例： 码1：显然不是惟一可译码。x2和x4对应于同一码字“11”，码1本身是一个奇异码。 码2：是非奇异码，不是惟一可译码。当收到一串码符号“01000”时，可将它译成“x4 x3 x1”，也可译为“x4x1x3”， “x1x2x3”或“x1x2x1x1”等，这种码从单个码字来看虽然不是奇异的，单从有限长的码序列来看，它仍然是一个奇异码。 码3：虽然是惟一可译码，但它要等到下一个“1”收到后才能确定码字的结束，译码有延时。 码4：既是惟一可译码，又没有译码延时。码字中的符号“1”起了逗点的作用，故称为逗点码。 唯一可译码的存在条件 码树图 码树图: 用码树来描述给定码集各码字的方法。 码树图有树根、树枝、