信息论与编码基础（第3版）课件 16算术编码.pdfVIP

§6压缩编码方法

§6.2算术编码

1.引入

2.编码

3.解码

4.讨论

§6.2算术编码

1.引入

单符号变长编码:

平均码长=H

是否有压缩方法，其编码平均码长可达到

（趋向）信源熵？

§6.2算术编码

1.引入

单符号变长编码（Huffman编码）

码长取整数

P=0.9，

对应的理想码长应为log(1/0.9)=0.152位

2

1bit/0.152bit=6.58倍

§6.2算术编码

1.引入

码长取小数？

扩展信源编码

K^N,

K:信源字母表大小

N:扩展块大小

最好：N-

§6.2算术编码

1.引入

一个例子：

a1:0.5,a2:0.25,a3:0.125,a4:0.125

初始概率区间：

a1a2a3a4

00.50.750.8751.0

扩展信源下的概率区间：复杂

概率区间：

a1a1a1a2a1a3a1a4

00.50.750.8751.0

§6.2算术编码

1.引入

Elias编码

PeterElias

1923~2001

享年78岁

§6.2算术编码

发展史

Shannon,1948,Mathematicaltheoryofcommunication

PeterElias,1963之前,私人通信;

NAbramson,1963,Informationtheoryandcoding,

NewYork:McGraw-Hill.p61.

Elias码的第一次公开发表;

JormaRissanen,1976,杂志;

RichardPasco,1976,博士论文,StanfordUniversity;

Witten,ClearyandNeal,1987,NewZealand

§6.2算术编码

2.编码

扩展信源编码：复杂

能否只针对所出现的待编码的字符串编码？