多媒体技术-04数据压缩基础.pptVIP

多媒体技术 第3讲 主要内容 数据压缩概述 经典数据压缩理论 香农－范诺与霍夫曼编码 算术编码 行程编码 词典编码 预测编码 变换编码 分析综合编码 经典数据压缩理论 信息论中的信源编码理论解决的主要问题： （1）数据压缩的理论极限 （2）数据压缩的基本途径 信源 信源被抽象为一个随机变量序列（随机过程）。 如果信源输出的随机变量取值于某一连续区间，就叫做连续信源。比如语音信号X(t)。 如果信源输出的随机变量取值于某一离散符号集合，就叫做离散信源。比如平面图像X(x，y)和电报。 离散信源 如果随机序列中各个变量独立具有相同的概率分布，则称为简单离散信源。 如果离散平稳信源的输出序列中各个变量是相互独立的，即前一个符号的出现不影响以后任何一个符号出现的概率，则称为离散无记忆平稳信源，否则称为离散有记忆平稳信源。 离散事件的非平均互信息量 y事件的发生对判断x事件所带来的信息量取决于x的先验概率p(x)与y发生后x的后验概率p(x|y)之比。 非平均互信息量 I(x ; y) 互信息量的性质： 离散事件的非平均自信息量 为了完全确定事件x(使后验概率为1)所必须提供的信息量称为x事件的非平均自信息量I(x) 非平均自信息量是随机事件的一个固有特性，它表明了事件的先验不确定性大小 联合自信息量与条件自信息量 条件自信息量I(x|y)：y确定时x所保留的不确定性大小： 联合自信息量I(xy)： 一些结论 熵（Entropy） 事件集合（样本空间）X中每个事件的自信息量I(x)是定义在这个样本空间上的一个随机变量，所以我们要研究它的统计特性。其数学期望为： H(X)表明了集合X中随机事件的平均不确定性，或者说平均信息量。 称H(X)为一阶信息熵或者简称为熵(Entropy) 熵（Entropy） 在符号出现之前，熵表示符号集中的符号出现的平均不确定性；在符号出现之后，熵代表接收一个符号所获得的平均信息量。 根据直觉，信源编码的数据输出速率（平均码长）与信源熵之间应该有某种对应关系。 信源的概率分布与熵的关系 熵的大小与信源的概率分布模型有着密切的关系。 最大离散熵定理：当与信源对应的字符集中的各个字符为等概率分布时，熵具有极大值log2m。m为字符集中字符个数。 二进制信源的熵 二进制信源输出一个二进制数码所携带的平均信息量最大为1bit。 最大离散熵定理的应用 对于同一个信源其总的信息量是不变的，如果能够通过某种变换（编码），使信源尽量等概率分布，则每个输出符号所独立携带的信息量增大，那么传送相同信息量所需要的序列长度就越短。 离散无记忆信源的冗余度隐含在信源符号的非等概率 分布之中。只要H（X）小于log2m，就存在数据压缩的可能。 编码 平均码长与熵 如果采用单字符二进制编码方式，设字符aj的编码长度为Lj，则信源字母表的平均码长为： 根据前面对二进制信源的分析，有： 关于离散无记忆平稳信源的结论 一阶熵即为离散无记忆平稳信源的压缩极限。（基本极限） 只要信源不是等概率分布，就存在着数据压缩的可能性。 数据压缩的基本途径之一：使各字符的编码长度尽量等于字符的信息量。 联合熵与条件熵 设随机变量X和Y分别取值于符号表{a1, a2, …am}和{b1, b2, b3, …bn} 定义X与Y的联合熵为： 定义X关于Y的条件熵为： 离散有记忆信源的冗余 关于离散有记忆平稳信源的结论 离散有记忆平稳信源的压缩极限为： 压缩的基本途径之二：尽量去除各分量之间的相关性，再对各分量进行独立编码。 压缩的基本途径之三：可利用条件概率进行编码，阶越高越有利。 压缩的基本途径之四：可将多个分量合并成向量，利用其联合概率进行编码，联合的分量越多越有利。 熵编码 熵编码包括香农－范诺编码、霍夫曼编码和算术编码，其宗旨在于找到一种编码使得平均码长到达熵极限，基本思想就是对出现概率较大的符号取较短的码长，而对出现概率较小的符号取较大的码长。 霍夫曼编码 具体步骤： （1）初始化 （2）合并概率最小的两个事件 （3）排序 （4）如果事件个数大于2则重复（2）和（3） （5）赋值 （6）编码 霍夫曼编码举例 霍夫曼编码的局限性 利用霍夫曼编码，每个符号的编码长度只能为整数，所以如果源符号集的概率分布不是2负n次方的形式，则无法达到熵极限。 输入符号数受限于可实现的码表尺寸 译码复杂 需要实现知道输入符号集的概率分布 没有错误保护功能 香农－范诺编码 香农－范诺编码与Huffman编码相反，采用从上到下的方法。 具体步骤为： （1）首先将编码字符集中的字符按照出现频度和概率进行排序。 （2）用递归的方法分成两部分，使两个部分的概率和接近于相等。直至不可再分，即每一个叶子对应一个字符。 （3）编码