第3章节 离散信源及其信息测度(第1部分).pptVIP

* * 欢迎各位同学光临 《信息论与编码理论》课程 主讲教师：禹思敏 第3章 离散信源及其信息测度 从本章开始，我们将从有效而可靠地传输信息的观点出发，对组成信息传输系统（如图1．3所示）的各个部分分别进行讨论。本章首先讨论信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度——熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。 §3. 1 信源的数学模型及分类 信源是信息的来源，是产生消息或消息序列的源泉。信息是抽象的，而消息是具体的。消息不是信息本身，但它包含着和携带着信息。所以，要通过信息的表达者——消息来研究信源。我们不研究信源的内部结构，不研究信源为什么产生和怎样产生各种不同的、可能的消息，而只研究信源的各种可能的输出，以及输出各种可能消息的不确定性。 正如前面绪论中所述，在通信系统中收信者在未收到消息以前，对信源发出的消息是不确定的，是随机的，所以可用随机变量、随机矢量或随机过程来描述信源输出的消息。或者说，用一个样本空间及其概率测度——概率空间来描述信源。 不同的信源输出的消息不同，可以根据消息的不同的随机性质来对信源进行分类。 注意完备集的概念！ 一、离散信源的概念 二、连续信源的概念 三、随机序列与平稳随机序列的概念 很多实际信源输出的消息往往是由一系列符号序列所组成的。例如，中文自然语言文字作为信源，这时中文信源的样本空间 A是所有汉字与标点符号的集合。由这些汉字和标点符号组成的序列即构成中文句子和文章。因此，从时间上看，中文信源输出的消息是时间上离散的符号序列，其中每个符号的出现是不确定的、随机的，由此构成了不同的中文消息。 这类信源输出的消息是按一定概率选取的符号序列，可以把这种信源输出的消息看做时间上或空间上离散的一系列随机变量，即随机矢量。这样，信源的输出可用N维随机矢量X＝(X1, X2, … ,XN)来描述，其中 N可为有限正整数或可数的无限值。这N 维随机矢量X有时也称为随机序列。 一般来说，信源输出的随机序列的统计特性比较复杂，分析起来也比较困难。为了便于分析，我们假设信源输出的是平稳的随机序列，也就是序列的统计性质与时间的推移无关。很多实际信源也满足这个假设。 四、离散无记忆信源（重要） 五、离散无记忆信源X的N次扩展信源（重要） 重要！ 六、有记忆信源（只需要了解即可） 信源发出的符号之间相互依赖（具有相关性）不统计独立，数学处理困难。在一般情况下，若符号间的相关性较小时，将有记忆信源简化为无记忆信源。 七、可尔可夫信源（只需了解即可） 信源每次发出的符号只与前m个符号有关，而与更前面的符号无关，称为M阶马氏信源，其条件概率为 注意： N 次扩展信源每次输出 N个符号，符号之间是统计独立的。通常所说的离散无记忆信源指的是每次只输出一个符号，也是统计独立的，它可看成是 N次扩展信源当N=1 时的特例。 因此，N次扩展信源很重要，需要认真理解。下面举三例加以说明。 例1 设有一离散无记忆信源 该信源可看成是N=1 时的一次扩展信源，它每次输出符号序列的长度为 1 。现求这信源的二次扩展信源。可知扩展信源中每次输出符号序列的长度为 2 。因为信源X共有3个不同符号，故由信源X中的每二个符号组成的不同排列共有32=9种，得二次扩展信源共有 9个不同的符号。又因为信源 X 是无记忆的，则有 二次扩展信源的输出序列排列及其概率计算结果如下： 进一步可得如下结果： 例2 设有一离散无记忆信源 该信源可看成是N=1 时的一次扩展信源，它每次输出符号序列的长度为 1 。现求这信源的三次扩展信源。可知扩展信源中每次输出符号序列的长度为 3 。因为信源X共有3个不同符号，故由信源X中的每三个符号组成的不同排列共有 qN = 33=27 种，这里q=3, N=3。得三次扩展信源共有 27 个不同的符号。又因为信源 X 是无记忆的，则有 三次扩展信源的输出序列排列及其概率计算结果如左边 余下部分自己完成 例3 设有一离散无记忆信源 该信源可看成是N=1 时的一次扩展信源，它每次输出符号序列的长度为 1 。现求这信源的三次扩展信源。可知扩展信源中每次输出符号序列的长度为 3 。因为信源X共有2个不同符号，故由信源X中的每三个符号组成的不同排列共有qN = 23=8种，这里q=2, N=3。可得三次扩展信源共有8 个不同的符号。又因为信源 X 是无记忆的，则有 三次扩展信源的输出序列排列及其概率计算结果如下： 进一步可得如下结果： §3. 2 离