4数据压缩.pptVIP

多媒体技术 第3讲 数据压缩基础 主要内容 数据压缩概述 经典数据压缩理论 香农－范诺与霍夫曼编码 算术编码 行程编码 词典编码 有损编码 2.0 数据无损压缩概述 数据无损压缩的理论——信息论(information theory) 1948年创建的数学理论的一个分支学科，研究信息的编码、传输和存储 该术语源于Claude Shannon (香农)发表的“A Mathematical Theory of Communication”论文题目，提议用二进制数据对信息进行编码 最初只应用于通信工程领域，后来扩展到包括计算在内的其他多个领域，如信息的存储、信息的检索等。在通信方面，主要研究数据量、传输速率、信道容量、传输正确率等问题。 2.0 数据无损压缩概述 数据无损压缩的方法 霍夫曼编码(Huffman coding ) 算术编码(arithmetic coding) 行程长度编码(run-length coding) 词典编码(dictionary coding) …… 2.0 数据无损压缩概述(续2) 信息论之父介绍 The Father of Information Theory——Claude Elwood Shannon Born: 30 April 1916 in Gaylord, Michigan, USA Died: 24 Feb 2001 in Medford, Massachusetts, USA 2.1 数据的冗余 冗余概念 人为冗余 在信息处理系统中，使用两台计算机做同样的工作是提高系统可靠性的一种措施 在数据存储和传输中，为了检测和恢复在数据存储或数据传输过程中出现的错误，根据使用的算法的要求，在数据存储或数据传输之前把额外的数据添加到用户数据中，这个额外的数据就是冗余数据 视听冗余 由于人的视觉系统和听觉系统的局限性，在图像数据和声音数据中，有些数据确实是多余的，使用算法将其去掉后并不会丢失实质性的信息或含义，对理解数据表达的信息几乎没有影响 数据冗余 不考虑数据来源时，单纯数据集中也可能存在多余的数据，去掉这些多余数据并不会丢失任何信息，这种冗余称为数据冗余，而且还可定量表达 2.1 数据的冗余 决策量(decision content) 在有限数目的互斥事件集合中，决策量是事件数的对数值 在数学上表示为 H0=log(n) 其中，n是事件数 决策量的单位由对数的底数决定 Sh (Shannon): 用于以2为底的对数 Nat (natural unit): 用于以e为底的对数 Hart (hartley)：用于以10为底的对数 2.1 数据的冗余(续2) 信息量(information content) 具有确定概率事件的信息的定量度量 在数学上定义为  其中， 是事件出现的概率 2.1 数据的冗余(续2) 举例：假设X={a,b,c}是由3个事件构成的集合，p(a)=0.5，p(b)=0.25，p(b)=0.25分别是事件a, b和c出现的概率，这些事件的信息量分别为， I(a)=log2(1/0.50)=1 sh I(b)=log2(1/0.25)=2 sh I(c)=log2(1/0.25)=2 sh 一个等概率事件的集合，每个事件的信息量等于该集合的决策量 2.1 数据的冗余(续3) 熵(entropy) 按照香农(Shannon)的理论，在有限的互斥和联合穷举事件的集合中，熵为事件的信息量的平均值，也称事件的平均信息量用数学表示为 2.1 数据的冗余(续4) 数据的冗余量 2.2 统计编码 统计编码 给已知统计信息的符号分配代码的数据无损压缩方法 编码方法 香农-范诺编码 霍夫曼编码 算术编码 编码特性 香农-范诺编码和霍夫曼编码的原理相同，都是根据符号集中各个符号出现的频繁程度来编码，出现次数越多的符号，给它分配的代码位数越少 算术编码使用0和1之间的实数的间隔长度代表概率大小，概率越大间隔越长，编码效率可接近于熵 2.2.1 统计编码——香农-范诺编码 香农-范诺编码(Shannon–Fano coding) 在香农的源编码理论中，熵的大小表示非冗余的不可压缩的信息量 在计算熵时，如果对数的底数用2，熵的单位就用“香农(Sh)”，也称“位(bit)” 。“位”是1948年Shannon首次使用的术语。例如 2.2.1 香农-范诺编码 香农-范诺编码举例 有一幅40个像素组成的灰度图像，灰度共有5级，分别用符号A，B，C，D和E表示。40个像素中出现灰度A的像素数有15个，出现灰度B的像素数有7个，出现灰度C的像素数有7个