信息论与通信原理导论 课件 通信原理-第四章 无失真信源编码.pdf

无失真信源编码理论

信息论

信源编码的必要性

必要性

数据量庞大

例如，以VGA格式存储一帧图像需要约2M比特；

记录30秒立体声需要的存储空间约为42.33Mbit；

1.5小时的电视节目需要的存储容量为896Gbit。

如果不对信源产生的信息进行压缩编码，如此庞

大的数据量很难进行存储或在网络中传输。

信息压缩的可行性

数据中通常包含很大的冗余

数据量=信息量+冗余量

例如：今晚的电影实在是太好看了！

数据冗余类型

空间冗余

存在于图像数据中

灰度和颜色相同的邻近像素组成

的区域在空间上具有强相关性；

空间压缩/帧内压缩

信息压缩的可行性

时间冗余

存在于活动图像和语音数据中；

活动图像中两幅相邻图像有较大的相关性；

人说话时发出的音频是一个连续和渐变的过程，因而存

在时间冗余；

时间压缩/帧间压缩

PF1PF2

T

信息压缩的可行性

信息熵冗余

信息熵指信源提供的平均信息量（信源中每个符号提供

的平均信息量），信息熵给出了给信源中的每个符号编

码所需要的最小平均比特数。

设信源中包括N个符号，信息熵的计算公式为：

N

HPlogP

i2i

i1

实际中采用码字的平均长度和信息熵之差为信息熵冗余。

信息熵冗余来自于文本中符号间的相关性。

减少信息熵冗余的方法：哈夫曼编码、算术编码

信息压缩的可行性

视觉冗余

人的视觉系统对于图像场的注意是非均匀和非线性的，

并不能对图像画面的任何变化都能感觉到。

例如：人的视觉对于图像边缘的急剧变化不敏感，对亮

度信息敏感，对色度信息不太敏感等。

利用人眼的特性，可以通过消除视觉冗余来减少存储量

或降低传输速率。

信息压缩的可行性

总结

空间冗余通常存在于图像中；

时间冗余通常存在于语音中；

空间冗余和时间冗余往往同时存在于视频中；

信息熵冗余通常存在于对文本的编码中。

信源编码

信源编码的主要目的：在不失真或允许一定失

真的条件下，消除存在于数据中的冗余信息，

用尽可能少的符号来传送信源信息，以提高信

息传输率。

信源编码

无失真信源编码和有损信源编码

无失真编码：

在能够减少要传输的信息总量的同时，又不会在解码时损失

信息；

无失真信源编码是可逆的；

文本必须为无失真信源编码。

离散信源才能进行无失真编码

有损信源编码

解码时不能精确还原信源信息；

一般应用于数字图像，音频和视频的压缩；

人感觉不出解压后的图像和原始图像的区别。

信源编码器

无失真编码实质上是为信源符号或符号序列分

配一个唯一的码字

,,⋯,{w,w,,w}

1212N