2014年秋信息论课件信息论基础B复习课（2）.ppt

信息论基础B复习课（2）  任课老师：干宗良 博士（讲师）江苏省图像处理与图像通信重点实验室 复习内容 第5章 信源编码 第6章 信道编码 第7章 加密编码 第5章 无失真信源编码定理（定长编码定理、变长编码定理）； 最佳变长编码（香农编码、费诺编码、哈夫曼编码）； 限失真信源编码定理； 了解常用信源编码方法 信源编码的主要任务就是减少冗余，提高编码效率。 信源编码的基本途径有两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 信源编码的基础是信息论中的两个编码定理： 无失真编码定理 限失真编码定理 无失真编码只适用于离散信源 对于连续信源，只能在失真受限制的情况下进行 限失真编码 码可分为两类： 一、固定长度的码，码中所有码字的长度都相同，如表5-1中的码1就是定长码 二、可变长度码，码中的码字长短不一，如表中码2就是变长码。 通常可用码树来表示各码字的构成 唯一可译码存在的充分和必要条件 各码字的长度Ki 应符合克劳夫特不等式： 无失真的信源编码定理 定长编码定理 K是定值 且惟一可译码 变长编码定理 由L个符号组成的、每个符号的熵为HL(X)的无记忆平稳信源符号序列X1X2…Xl…XL，可用KL个符号Y1，Y2，…，Yk，…，（每个符号有m种可能值）进行定长编码。对任意?0，?0，只要 则当L足够大时，必可使译码差错小于?； 反之，当 时，译码差错一 定是有限值，而L足够大时，译码几乎必定出错 定长编码定理说明： 反之，当 时，不可能构成无失真的编码，也就是不可能做一种编码器，能使收端译码时差错概率趋于零。 时，则为临界状态，可能无失真，也可能有失真。 在连续信源的情况下，由于信源的信息量趋于无限，显然不能用离散符号序列Y来完成无失真编码，而只能进行限失真编码。 定义 为编码效率，即信源的平均符号熵为H(X)，采用平均符号码长为 来编码，所得的效率。 编码效率总是小于1，且最佳编码效率为 编码定理从理论上阐明了编码效率接近1的理想编码器的存在性，它使输出符号的信息率与信源熵之比接近于1，即 L取无限长 变长编码定理 在变长编码中，码长K是变化的 根据信源各个符号的统计特性，如概率大的符号用短码，概率小的用较长的码，使得编码后平均码长降低，从而提高编码效率。（统计匹配） 单个符号变长编码定理：若离散无记忆信源的符号熵为H(X)，每个信源符号用m进制码元进行变长编码，一定存在一种无失真编码方法，其码字平均长度满足下列不等式 离散平稳无记忆序列变长编码定理：对于平均符号熵为HL(X)的离散平稳无记忆信源，必存在一种无失真编码方法，使平均信息率满足不等式 其中?为任意小正数。 编码效率总是小于1，可以用它来衡量各种编码方法的优劣。 为了衡量各种编码方法与最佳码的差距，定义码的剩余度为 最佳变长编码 凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合称为最佳变长码。 能获得最佳码的编码方法主要有： 香农（Shannon） 费诺（Fano） 哈夫曼（Huffman）等 无失真信源编码 香农（Shannon）编码 将信源消息符号按其出现的概率大小依次排列 确定满足下列不等式的整数码长Ki。 为了编成唯一可译码，计算第i个消息的累加概率 将累加概率Pi变换成二进制数。 取Pi二进数的小数点后Ki位即为该消息符号的二进制码字。 费诺编码方法 费诺编码属于概率匹配编码 (1)将信源消息符号按其出现的概率大小依次排列： 。 (2)将依次排列的信源符号按概率值分为两大组，使两个组的概率之和近于相同，并对各组赋予一个二进制码元“0”和“1”。 (3)将每一大组的信源符号进一步再分成两组，使划分后的两个组的概率之和近于相同，并又赋予两个组一个二进制符号“0”和“1”。 (4)如此重复，直至每个组只剩下一个信源符号为止。 (5)信源符号所对应的码字即为费诺码。 例 对以下信源进行费诺编码。 无失真信源编码 哈夫曼编码方法 (1)将信源消息符号按其出现的概率大小依次排列， (2)取两个概率最小的字母分别配以0和1两个码元，并将这两个概率相加作为一个新字母的概率，与未分配的二进符号的字母重新排队。