信息科学基础-离散信源的无错编码-克拉夫特不等式.pptVIP

离散信源的无错编码-克拉夫特（Kraft）不等式 3.2.1克拉夫特（Kraft）不等式 给出码字可分离或异前缀码存在的充要条件： 对于码符号为 的任意唯一可译码，其r元码字为 ，所对应的码长分别为 ，则必定满足克拉夫特不等式 反之，若码长满足上面的不等式，则一定存在具有这样码长的即时码。 Kraft不等式的物理意义：给定信源个数N和码字数M，只要允许码字长度可以足够长，就总可以满足Kraft不等式，从而得到前缀码。 离散信源的无错编码-克拉夫特（Kraft）不等式 定理3。2。2：唯一可译码满足Kraft不等式。 如果一个码是唯一可译的，则Kraft不等式成立，则存在一个具有同样长度的异前缀码。 例题：设二进制码树中 ，对应的 ，由上述定理，可得 因此不存在满足这种码长的唯一可译码。可以用码树进行检查。 离散信源的无错编码-克拉夫特（Kraft）不等式 唯一可译码的判断法（不等长）： 将码C中所有可能的尾随后缀组成一个集合F，当且仅当集合F中没有包含任一码字，则可判断此码C为唯一可译码。 集合F的构成方法： 观察码C中最短的码字是否是其它码字的前缀，若是，将其所有可能的尾随后缀列出。这些尾随后缀又有可能是某些码字的前缀，再将这些尾随后缀产生的新的尾随后缀列出，然后再观察这些新的尾随后缀是否是某些码字的前缀，再将产生的尾随后缀列出，依此下去，直到没有一个尾随后缀是码字的前缀为止。 这样获得了由最短的码字能引起的所有尾随后缀，接着，按照上述步骤将次短码字、…等等所有码字可能产生的尾随后缀全部列出。由此得到由码C的所有可能的尾随后缀的集合F。 离散信源的无错编码-克拉夫特（Kraft）不等式 例题：设码C={0,10,1100,1110,1011,1101}，根据上述测试方法，判断是否是唯一可译码。 解：1. 先看最短码字“0”，它不是其他码字前缀，所以无尾随后缀。 2. 观察码字“10”，它是码字“1011”的前缀，因此有尾随后缀： 集合F={11，00，10，01}，其中“10”为码字，故码C不是唯一可译码。 离散信源的无错编码-离散无记忆源DMS的不等长编码 3.2.2 不等长编码定理 在不等长编码中，码长是变化的。对同一信源，其即时码或唯一可译码可以有许多种。究竟哪一种好呢？从高速传输信息的观点来考虑，当然 希望选择由短的码符号组成的码字，就是用码长来作为选择准则，为此我们引入码的平均长度。 设信源为 离散信源的无错编码-离散无记忆源DMS的不等长编码 编码后的码字为 ，其码长分别为 因为对唯一可译码来说，信源符号与码字是一一对应的，所以有 则码的平均长度（每个信源符号平均需用的码元数）为： 对某一信源来说，若有一个唯一可译码，其平均长度小于所有其它的唯一可译码的平均长度，则该码称为紧致码，或称最佳码。无失真不等长信源编码的基本问题就是要找最佳码。 离散信源的无错编码-离散无记忆源DMS的不等长编码 单个符号不等长编码定理： 若一离散无记忆信源的符号熵为H(X)，每个信源符号用D进制码元进行不等长编码，一定存在一种无失真编码方法，其码字平均长度 满足下面的不等式 离散平稳无记忆序列不等长编码定理（香农第一定理）： 对于平均符号熵为 的离散平稳无记忆信源，必存在一种方法，使平均信息率 满足下面的不等式 其中， 为任意小正数。 离散信源的无错编码-离散无记忆源DMS的不等长编码 上面的两个定理实际上是一样的，可以由第一个推导出第二个。设用D进制码元做不等长编码，序列长度为L个信源符号，则该序列所对应的码字的平均长度 满足下面的不等式 而平均输出信息率为 离散信源的无错编码-离散无记忆源DMS的不等长编码 故有 当L足够大时，可使 因此 离散信源的无错编码-离散无记忆源DMS的不等长编码 香农第一定理的物理意义： 又称无噪信道编码定理 编码后的码符号信源尽可能为等概分布，使每个码符号平均所含的信息量达到最大 要做到无失真编码，变换每个信源符号平均所需最少的m元码元数就是信源的熵率（以m进制信息量单位测度） 信源的熵率是描述信源每个符号平均所需最少的比特数 定理说明： 是存在性定理－－具有理论指导意义 是构造性定理－－设计出多种具体编码方法 香农第一定理给出了码字平均长度的下界和上界。但并不是说大于这上界不能构成唯一可译码，而是因为我们 离散信源的无错编码-离散无记忆源DMS的不等长编码 总是希望 尽可能短。定理说