第四章算术编码.pptVIP

第四章：算术编码 算术编码：越来越流行（在很多标准中被采用） 适合的场合： 小字母表：如二进制信源 概率分布不均衡 建模与编码分开 内容： 算术编码的基本思想 一些性质 实现 有限精度：区间缩放（浮点数/整数实现） 计算复杂度：用移位代替乘法?二进制编码 自适应模型 QM编码器：自适应二进制编码 回顾： Huffman编码 例1：信源的符号数目很少 回顾：扩展的Huffman编码 例2：信源的符号的概率严重不对称： A = {a, b, c}, P(a) = 0.95, P(b) = 0.02, P(c) = 0.03 H = 0.335 bits/symbol Huffman编码： a 0 b 11 c 10 l = 1.05 bits/symbol 冗余（Redundancy） = l - H = 0.715 bits/sym (213%!) 问题：能做得更好吗？ 回顾：扩展的Huffman编码 基本思想： 考虑对两个字母序列而不是单个字母编码 回顾：扩展的Huffman编码 该思想还可以继续扩展 考虑长度为n的所有可能的mn 序列 (已做了32) 理论上：考虑更长的序列能提高编码性能 实际上： 字母表的指数增长将使得这不现实 例如：对长度为3的ASCII序列：2563 = 224 = 16M 需要对长度为n的所有序列产生码本 很多序列的概率可能为0 分布严重不对称是真正的大问题： A = {a, b, c}, P(a) = 0.95, P(b) = 0.02, P(c) = 0.03 H = 0.335 bits/symbol l1 = 1.05, l2 = 0.611, … 当n = 8时编码性能才变得可接受 但此时|alphabet| = 38 = 6561 !!! 算术编码（Arithmetic Coding） 算术编码：从另一种角度对很长的信源符号序列进行有效编码 对整个序列信源符号串产生一个唯一的标识（ tag ） 直接对序列进行编码（不是码字的串联）：非分组码 不用对该长度所有可能的序列编码 标识是[0,1)之间的一个数（二进制小数，可作为序列的二进制编码） 概率复习 随机变量： 将试验的输出映射到实数 用数字代替符号 X(ai) = i, 其中 ai ? A (A = {ai}, i = 1..n) 给定信源的概率模型P 概率密度函数（probability density function, pdf） 累积密度函数（cumulative density function, cdf） 产生标识 定义一一映射： ak ? [FX(k-1), FX(k)], k = 1..m, FX(0) = 0 [FX(k-1), FX(k)]区间内的任何数字表示 ak 对2字母序列ak aj编码 对ak ，选择[FX(k-1), FX(k)] 然后将该区间按比例分割并选取第j个区间： 产生标识：例 考虑对a1a2a3编码： A = {a1, a2, a3}, P = {0.7, 0.1, 0.2) 映射：a1 ? 1, a2 ? 2, a3? 3 cdf: FX(1) = 0.7, FX(2) = 0.8, FX(3) = 1 .0 映射成实数 A = {a1, a2, …, am} 词典顺序（ Lexicographic order ） 字符串的词典顺序： 其中 表示“在字母顺序中，y在x的前面” n 为序列的长度 词典顺序：例 考虑两轮连续的骰子： 输出 = {11, 12, …, 16, 21, 22, …, 26, …, 61, 62, …, 66} 区间构造 观察 包含某个标识的区间与所有其他标识的区间不相交 基本思想 递归：将序列的下/上界视为更短序列的界的函数 上述骰子的例子： 考虑序列：3 2 2 令u(n), l(n) 为长度为n序列的上界和下界，则 u(1) = FX(3), l(1) = FX(2) u(2) = FX(2)(32), l(2) = FX(2)(31) 区间构造 区间构造 产生标识 通常，对任意序列x = x1x2…xn 产生标识：例 考虑随机变量X(ai) = i 对序列1 3 2 1编码： 解码标识 Algorithm Initialize l(0) = 0, u(0) = 1. For each i, i = 1..n Compute t*=(tag-l(k-1))/(u(k-1)-l(k-1)). Find the xk: FX(xk-1) ? t* ? FX(xk). Update u(n), l(n) If done--exit, otherwise goto 1. 解码：例 算术编码的唯一性和效率 上