第4章 离散信源编码理论.ppt

第4章 离散信源编码理论 主讲 邓家先 目录 4.1 信源编码的基本概念 4.2 渐近等同分割性 4.3 信源无失真编码 4.3.1 等长码 4.3.2 变长码 4.4 信息率失真函数及性质 4.4.1失真测度 4.4.2 信息率失真函数的定义 4.4.3 信息率失真函数的性质 4.5 信息率失真函数的计算 4.6 信息率失真函数的迭代算法 4.7香农第三定理 通信的实质是将信息从信源传输到信宿，即将信源输出的符号经过信道传送到信宿，在信宿精确或者近似重现信源发送的信息 。 需要解决两个问题： (1) 信源的输出如何描述，即如何计算信源产生的信息量； (2)如何表示信源的输出，即信源编码问题。 这两个问题都与信宿对通信质量的要求有关 如果要求精确地重现信源的输出，就要求信源产生的信息全部无损传送到信宿，需要对信源进行无失真编码； 如果不要求在信宿精确重现信源的输出，只要满足一定的重建质量要求即可，此时允许信息传输过程中出现一定失真，这就是限失真编码问题。 通信系统的信道容量是有限的，根据第3章中信源与信道匹配理论，为了有效传输信息，信道的输入分布应当尽可能接近信道要求的最佳分布。 实际信道很多都是对称信道，最佳分布为等概率分布，这就要求对信源进行编码，除去信源输出符号之间的相关性，从而实现信道输入与信道的匹配。 4.1 信源编码的基本概念 信源编码的实质就是对信源输出符号进行描述，将原始符号按照一定的规则进行变换，以满足信息传输的要求 。 在研究信源编码时，将信道编译码看作信道的一部分，从而突出信源编码，此时的信道称为编码信道。显然编码信道是一种广义信道。不考虑信道编码、译码过程中是否会引入失真或者错误。 在研究信源编码时，一般认为信道是理想的，即不考虑编码信道的干扰或者噪声对信源符号重建的影响，认为信道编码具有足够好的检错和纠错能力，信道译码器能够准确重建信源编码器输出的消息。 在有些情况下，信源编码也需要考虑编码方法的抗误码能力，并且将抗误码作为衡量信源编码的一项指标。 假设信源序列符号长度为 N，等待编码的符号序列为 输出序列也称为码字，是由码表产生的。码字取值于一个码字集合，称为码集，记作 1. 非奇异码 一个码是非奇异的，如果信源编码器输入的每个元素映射为不同的码字，即 3.唯一可译码 任意有限长的码符号序列，只能被唯一地译码为所对应的信源符号序列，这样的码称为唯一可译码，即编码的码字只有一种可能信源序列与之相对应，这就要求码是非奇异的。 4. 即时码 一个码称为即时码，如果不需要考虑后续的码符号，可以直接根据当前的码符号序列正确译出相应的码字。 即时码的充要条件是没有一个码字是其它码字的前缀，所以即时码是唯一可译码； 反之，唯一可译码不一定是即时码，有时可以通过搜遍整个码符号序列自后至前进行译码。 5. 树码 通常情况下可用码树来表示各个码字的构成，如果码序列符号为进制的，可以使用个符号的码树来构造码字。 树码一定是即时码，反过来，任何即时码都可以用树码来表示。 利用树码可以推导出唯一可译码的充分必要条件。 4.2渐近等同分割性 渐近等同分割性中的概念——典型序列是在研究信源编码时提出的，为信源编码奠定了理论基础。在信息论中，渐近等同分割性与大数定律类似，是由大数定律直接得到的。 这样就可以将所有序列分为两个集合：一种是典型集合，其样点值熵逼近真正熵； 另一种是非典型集合，它包含了剩余序列。我们主要关心典型序列，典型序列的任何特性都是以大概率成立的，而且决定了样点值的主要特性。 1．渐近等同分割性 定理4.2 如果X1,X2,…,XN服从独立同一分布p(x)，那么 2 渐近等同分割性与编码 令X1,X2,…,XN是服从独立同一分布的随机变量，概率密度函数为p(x)，对于这样的随机变量序列XN，希望以更短长度加以描述，实现数据压缩。 首先将的序列分为两个集合，典型集合及其补集。 每个集合都按照某种顺序对数据进行排序，这样就可以使用序列排序的序号来描述每个序列。 根据典型序列的性质可知，典型序列中所有序列的数量不大于2N(H(X)+ε)，所以使用不多于比特就可以对序列进行编号，对于典型序列可以在前面加上前缀0，这样就可以使用长度为比特的序号描述所有的序列。 同理，可以对非典型序列（典型序列的补集）中的每个序列进行变换，序号长度不超过比特，其中表示信源符号个数，为了与典型序列加以区别，在非典型序列的序号前面加上前缀1。 这样序列集合中所有的序列都有唯一的序号与之对应。 4.3 信源无失真编码 无失真信源编码就是要求信源符号与码字之间形成一一映射关系，并且要求编码输出的码字序列对应的反变换是唯一的，即是唯一可解码的，否则会造成译码错误或者失真。根据信源编码输出码长的特点，可以将