信息论与编码理论基础(第3章)讲义.ppt

(4) 请注意0.t是一个小数位数为n位的二进制小数。而n是巧妙设置的，所以0.t∈[G, G+H)。不仅如此，还有： 将0.t的第n位小数位后面添加任意一个比特串，得到新的二进制小数0.s，则0.s∈[G, G+H)。 换句话说，码字t后面添加任意若干个码字，组成比特串s，仍然能够在译码过程中找到正确的区间[G, G+H)。 §3.4 最佳不等长编码 对算术编码的解释 (5) 译码过程找到正确区间[G, G+H)的同时，就找到了事件u=(u1u2…uL)，并在比特串s的前部确定了并去掉了码字t. §3.4 最佳不等长编码 对算术编码的解释 而是 则一般能正确译码，但也有译码错误的可能性！（思考） (6) 如果n不是 §3.4 最佳不等长编码 对算术编码的解释 假设对消息 (6) 设取码字长度为 进行编码， 设其对应区间的左端点坐标为 其对应概率为 则恰有 而不是 因此码字为G的n位截断且向第n位进位，记为 §3.4 最佳不等长编码 对算术编码的解释 假设另一消息 其码字为 则消息u与u1的码字串接起来为 从而对应的二进制小数为 而S与G之间的差值 这说明 S 已经不在区间[G,G+H)内，译码出错！ §3.4 最佳不等长编码 对算术编码的解释 假设对消息 (6) 设取码字长度为 进行编码， 设其对应区间的左端点坐标为 其对应概率为 则有 因此码字为G的n+1位截断且向第n+1位进位，记为 §3.4 最佳不等长编码 对算术编码的解释 假设另一消息 其码字为 则消息u与u1的码字串接起来为 从而对应的二进制小数为 而S与G之间的差值 这说明 S 必定在区间[G,G+H)内，译码不会出错！ §3.4 最佳不等长编码 算术编码的平均码长 可知： 由码长的取法： §3.4 最佳不等长编码 算术编码的特点 特点一 当L很大时，平均码长接近信源熵H(U)，因此编码效率接近上限。 特点二 编译码简单，存储量小，速度快。（为什么？思考） 算术编码的应用领域 在图象数据压缩标准（如JPEG）中得到广泛应用。 LZ编码设信源随机变量U的事件集为A={a1, a2, …, aK}。设要对信源序列L维随机变量UL=(U1U2…UL)进行2元编码。事件u=(u1u2…uL)。 首先进行的操作称为“分段”。分段是从前往后分，步骤如下。 取最前面一个事件为一段。移动到后面。 (2) (2.1) 如果已经没有事件，则分段完毕。 (2.2) 如果一个事件在前面各段的段首没有出现过，则取这个事件为一段。移动到后面。转（2）。 §3.4 最佳不等长编码 (2.3) 如果一个事件在前面某段的段首出现过，而两个事件的 事件串在前面各段的段首没有出现过，则取这两个事件的事件串为一段。移动到后面。转（2）。 (2.4) 如果两个事件的事件串在前面某段的段首出现过，而三个事件的事件串在前面各段的段首没有出现过，则取这三个事件的事件串为一段。移动到后面。转（2）。 …。 直到分出一段。如果这样到最后面仍然分不出一段，则这个分不出段的事件串也算一段，是末尾段。分段完毕。 §3.4 最佳不等长编码 §3.4 最佳不等长编码 其次进行的操作是“事件编号”和“段编号”。 事件编号是将事件{a1, a2, …, aK}分别标号为{0, 1, …, K-1}。不过，这些编号必须写成二进制的，而且它们必须是长度相同的比特串，比特串的长度都是 §3.4 最佳不等长编码 例如， {a1, a2, a3, a4, a5, a6}分别标号为{000, 001, 010, 011, 100, 101}。又例如， {a1, a2, a3, a4, a5, a6 , a7, a8, a9}分别标号为{0000, 0001, 0010, 0011, 0100, 0101, 0110, 0111, 1000}。 段编号是将所划分的各段按前后顺序分别标号为{1, 2, …, }。不过，这些编号必须写成二进制的，而且它们必须是长度相同的比特串，比特串的长度都是 §3.4 最佳不等长编码 最后进行的操作是“按段进行编码”。 首先注意到，段值是互不相同的（除了最末尾的段可能与前面某个段值相同）。 分三种情形为段赋予码字。 情形一 段如果只有一个事件，则码字前一部分为00…0（长度为段编号长度），码字后一部分就是这个事件的编号。 §3.4 最佳不等长编码 情形二 非末尾段如果有不止一个事件，则该段去掉最后一个事件就是前面曾经出现过的旧段，而且这个旧段只出现过一次。该段的码字前一部分就是这个旧段的段编号，该段的码字后一部分就是该段最后一个事件的编号。 情形三 末尾段如果既有不止一个事件，又是前面曾经出现过的旧段，则末尾段的码