信息论与编码chapter5.pptVIP

码的概念 1）码字：变换后各新符号串wi称为码字 2）码长：码字wi的长度li称为码长 3）码元：组成码字wi的各位代码符号xj，j=1，2，…，r 4）码：所有码字的集合称为码（或码集合、码书） 如何提高编码效率减少信源的冗余度？ 1）去除相关性 使编码后码序列的各个码符号尽可能相互独立 2）概率分布均匀化 使编码后各个码符号尽可能等概出现 树图 1）构造即时码 2）译码 3）验证即时码 码字：由根节点到叶子节点（终端节点）所走过的码符号顺序连接 定理5.9 任意对于一个含q个符号的信源，存在最优的二进制码，其中有两个最长的码字有相同的长度且仅最后一个码位有别，即其中一个的最末尾是0，而另一个的最末尾是1（或者相反） 若一个唯一可译码的平均码长小于所有其它唯一可译码，则称该码为最优码(或紧致码)。 应注意：最优是唯一可译码之间的比较，因此它的平均码长未必达到编码定理的下界。 §5.4.1 二元哈夫曼编码 二元最优异前置码的构造方法 设信源S为 ，对应的码字为 将概率最小的两个码符号 合并，从而产生新的信源S‘ 设 ，对应的码字为 。对新信源编码后，按下面的关系就可恢复原来信源的码字： 一些结论 我们可以采用合并两个最小概率符号的方法，逐步地按这样的路线去编码：