信息论与编码第2章.ppt

第二章　信源及信源熵 2.1 信源的描述与分类 2.1.1信源的分类 信源的分类方法依信源特性而定，一般按照信源发出的消息在时间上和幅度上的分布情况，把信源分为： 连续信源：发出在时间上和幅度上都是连续分布的连续消息的信源，如语音、图像、图形等都是连续消息。 离散信源：发出在时间上和幅度上都是离散分布的信源，如文字、数字、数据等符号都是离散消息。 第二章　信源及信源熵 离散信源又可以细分为： （1）离散无记忆信源：所发出的各个符号之间相互独立，发出的符号序列中各个符号之间没有统计关联性，各个符号的出现概率是其自身的先验概率。可细分为发出单个符号的无记忆信源与发出符号序列的无记忆信源。 布袋摸球实验：每次取1个球，球的颜色作为消息输出；每次先后取2个球，由两个球的颜色组成的消息就是符号序列，记录完颜色后球被放回。 （2）离散有记忆信源：发出的各个符号之间不是相互独立的，各个符号出现的概率是有关联的。可细分为发出符号序列的平稳有记忆信源与发出符号序列的非平稳有记忆信源，后者诸如：发出符号序列的马尔可夫信源。 每次先后取2个球，但记录完颜色后球不放回。 第二章　信源及信源熵 2.1.2 离散信源的描述与度量 　　发送方消息的选择具有随机性，否则就没有通信的必要了。换句话说，我们在收到消息之前，并不知道信源将要发出什么消息，信源是随机的、不确定的，因此，可用随机变量或随机矢量来描述信源输出的消息。或者说，用概率空间来描述信源。 离散信源的数学模型就是离散型的概率空间： 第二章　信源及信源熵 第二章　信源及信源熵 然而，很多实际信源输出的消息往往是由一系列符号所组成的。 例如：中文信源的样本空间集合x是所有中文字母及标点符号的集合。由这些单字和标点符号组成的消息即是中文句子和文章。从时间上看，中文信源的输出是时间上离散的一系列符号，而其中每个符号的出现是随机的，由此构成了不同的中文消息。 第二章　信源及信源熵 例如：对离散化的平面图像来说，从空间上来看是一系列离散的符号，而空间每一点的符号(灰度)又都是随机的，由此形成了不同的图像。因此，可以将一般信源输出的消息看作为时间或空间上离散的一系列随机变量，即随机矢量。 符号序列信源的输出可用 N 维随机矢量 来描述，其中 N 可为有限正整数或可数的无限值。 第二章　信源及信源熵 在上述随机矢量中，若每个随机变量 都是离散的，则可用N重离散概率空间来描述这类信源。即若N维随机矢量 　　中 则 第二章　信源及信源熵 信源的N重概率空间为： 这个空间共有 个元素。 第二章　信源及信源熵 在某些简单的情况下，信源先后发出的一个个符号彼此是统计独立的，则N维随机矢量的联合概率分布满足 即N维随机矢量的联合概率分布可用随机矢量中单个随机变量的概率乘积来表示。这种信源就是离散无记忆信源。 第二章　信源及信源熵 有记忆信源：输出的随机序列X中各随机变量之间有依赖关系。例如在中文字母组成的中文消息中，前后文字的出现是有依赖的，不能认为是彼此不相关的，放在N维随机矢量的联合概率分布中，就必然要引入条件概率分布来说明它们之间的关联。此外，对弈时，当前怎样走，通常是与先前已走步数所形成的局势有关。 第二章　信源及信源熵 描述有记忆信源要比表述无记忆信源困难得多。比较特殊的情况：信源发出的符号往往只与前面几个符号的依赖关系较强，而与更前面的符号依赖关系就弱。为此可以限制随机序列的记忆长度。 m阶马尔可夫信源：信源每次发出的符号只与前m个符号有关，与更前面的符号无关。 第二章　信源及信源熵 2.1.3 概率复习 第二章　信源及信源熵 第二章　信源及信源熵 2.2 离散信源熵和互信息 信息的度量 信息的可度量性建立信息论的基础； 信息度量的方法：结构度量﹑统计度量﹑语义度量﹑模糊度量等； 统计度量：用事件统计发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念； 熵概念是香农信息论最基本最重要的概念。 第二章　信源及信源熵 2.2.1 自信息量 在讨论了信源的数学模型，即信源的数学描述问题后，很自然接着会提出这样一个问题，即信源发出某一符号 后，它提供多少信息量？这就是要解决信息的度量问题。 在通信的一般情况下，信宿所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。 第二章　信源及信源熵 事件发生的不确定性与事件发生的概率有关。事件发生的概率越小，猜测它有没有发生的困难程度就越大，不确定性就越大；而事件发生的概率越大，猜测这事件发生的可能性就越大，不确定性就越小；对于发生概率等于1的必然事件，就不存在不