第4章 限失真信源编码.ppt

第4章 限失真信源编码 4.1 连续信源的熵和互信息 4.2 信息率失真理论 4.3 标量量化编码 4.4 矢量量化编码 4.5 语音压缩编码 4.6 图像压缩编码 4.1 连续信源的熵和互信息 前面研究的信源都是取值为有限或可数的离散信源，这些信源输出的消息属于时间离散、取值有限或可数的随机序列，其统计特性可以用联合概率分布来描述。而实际某些信源的输出常常是时间和取值都连续的消息。例如，语音信号、电视信号等都是时间的连续波形，而且，在某一固定时刻，它们的可能取值也是连续的，这样的信源称为随机波形信源。 随机波形信源输出的消息是随机的，因此，可用随机过程来描述。用随机过程描述其输出消息的信源称为随机波形信源。若信源输出用平稳连续型随机序列来描述，则此信源称为连续平稳信源。连续平稳信源也可分为连续平稳无记忆信源和连续平稳有记忆信源。平稳连续型随机序列中每个自由度上的变量是连续随机变量。用连续随机变量描述其输出消息的信源称为连续信源。下面讨论它们的信息测度。 连续信源基本的数学模型为 式（4―1）定义的连续信源的熵并不是实际信源输出的绝对熵，连续信源的绝对熵应该再加上一项无限大的常数项。因为连续信源的可能取值有无限多个，若其取值是等概率分布的，那么，信源不确定性为无限大。当确知输出为某