《信息论与编码》课件第5章 信源编码技术.pptVIP

无失真等长编码信息率受到熵的限制，平均码长

编码不小于熵

变长编码

香农第1定理

限失真平均码长受到信息在平均失真一定条

编码率失真函数限制件下，编码输出码

率不小于平均失真

所对应信息率

香农第3定理

Ø通过信源扩展，并对扩展信源序列进行编码，可以

有效提高信源编码效率；

Ø增加序列的长度，最佳码的平均码长能够逼近信源熵。

Ø香农的信源编码理论只是指出了平均码长的界，即阐

述了存在性问题，没有给出具体的最佳编码方案。

Ø只讨论存在性问题是不够的，信源编码的编码效果

毕竟取决于具体的编码方案，为了提高信源编码效

率，科学家们进行了大量的卓有成效的研究工作，

取得了许多研究成果，并且形成了专门学科。

Ø但是信源是复杂的，许多信源不是离散无记忆信源，

甚至不是平稳的，而且在许多情况下，信源输出的

符号是有限的；

Ø所假设的信源编码模型与实际并不相符，等等这些

因素都给信源编码造成了困难。

Ø至今信源编码技术仍然是研究的重要课题之一，本

章主要介绍信源编码技术已经取得的一些研究成果。

5.1最佳变长编码

将能够荷载一定信息量，且码字的平均长度最短，可

分离的变长码字集合称为最佳变长码。

最佳变长码编码的基本原则是：概率大的信源符号分配

短的码字，而概率小的信源符号分配长码字，从而使得

平均码长最短

v具有代表性变长编码方法有：香农码，费诺码和哈夫曼码等。

香农码:是建立在信息科学基础上的第1种信源编码方法，

理论意义非常重要；

哈夫曼码：信源扩展长度一定情况下，组码中最好的编

码算法；在实际信源编码中得到广泛使用。

比如：在文本压缩,图像压缩，视频压缩等数据压缩中，

最后的熵编码经常采用哈夫曼码

照相机、网络上

广泛使用的后缀

视频压缩如

为图像文件，

.jpg，

其图像压缩熵编mpeg2

都使

码器就是哈夫曼h.263,h.264

用哈夫曼编码

码。

5.1.1香农码

v香农根据离散无记忆信源的自信息量构造了一种码，称为香

农码；

v设离散无记忆信源所对应的概率空间为

Xa1a2ar



p(x)p(a1)p(a2)p(ar)

v按照每个符号提供的信息量大小分配码字长度；

v对应码字的长度Li之间满足下列关系自信息量

上取整

I(xi)liI(xi)1i

v这样就可以保证对于每个信源符号而言，码字长度是最佳

的。

v具体编码方法如下：

v(1)将信源消息符号按其出现的概率大小依次排列为

p1p2pn

v(2)确定每个信源符号的码长，同时保证码长为满足

下列不等式的整数

lbp(ai)lilbp(ai)1

v(3)为了编成唯一可译码，计算第i个消息的累加概率

i1

Pip(ak)

k1

v(4)将累加概率Pi表示为二进制形式；

v(5)取二进制数的小数点后Li位作为该消息符号的二

进制码字。

例5.1设信源共有7个符号消息，按照概率大小排列后的概

率分布和累加概率如表5.1所示。根据自信息量定义计算每

个信源符号的信息量，然后根据信息量确定码长

比如1b0.17l41b0.171