无失真信源与信息熵教程.pptVIP

第1章 无失真信源与信息熵 1.1 信源特性与分类 1.2 离散信源的信息熵 1.3 离散序列信源的熵 1.4 互 信 息 1.5 冗 余 度 1.6 连续信源的熵与互信息 1.1 信源特性与分类 1.1.1 信源的统计特性 在信息论中，确切地说信源是产生消息(符号)、消息序列和连续消息的来源。从数学上看，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源。 其次，讨论信源的特性。客观信源的基本特性是具有随机不确定性。 1.1.2 信源的描述与分类 首先讨论离散单个消息(符号)信源。它是最简单的也是最基本的信源，是组成实际信源的最基本单元。 其次，讨论实际信源。实际信源不可能仅发送单个消息(符号)，对离散信源而言，发送的是一组消息(符号)串，即一个随机序列；对连续信源而言则是一随机过程。 在实际问题中，连续的模拟信源往往可以采用两种方法进行分析。 一类是将连续信源离散化为随机序列信源，再采用前面的随机序列信源进行分析； 另一类则是直接分析连续模拟信源，但是由于数学上的困难，只能分析单个连续消息变量的信源。 3类最常用展开式：傅氏级数展开、取样函数展开及K-L展开。 1.2 离散信源的信息熵 1.2.1 信息熵和信息量的基本概念 1928年，信息论的先驱者之一哈特莱(Hartley)首先研究了具有Nm个组合的单个消息信源。