第2章 离散信源及其信息.ppt

合肥学院胡学友 第2章 离散信源及其信息测度 主要内容 ◆ 信源的数学模型及其分类 ◆ 熵及性质 ◆ 各类离散信源的信息度量 2.1 信源的数学模型及分类 信源是信息的来源，是产生消息或消息序列的源泉。信息是抽象的，而消息是具体的。消息不是信息本身，但它包含首和携带着信息。 通过信息的表达者——消息来研究信源。 我们不研究信源的内部结构，不研究信源为什么产生和怎样产生各种不同的、可能的消息．而只研究信源的各种可能的输出，以及输出各种可能消息的不确定性。 分类 时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源 符号序列信源（有记忆和无记忆） 连续信源 信源输出的消息由随机变量描述 在实际情况中。存在着很多的这样的信源。例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。这些信源输出的都是单个符号(或代码)的消息，它们符号集的取值是有限或可数的。我们可用一维离散型随机变量X来描述这些信源的输出。这样的信源称为离散信源。 信源不能简单地用一维随机变量来描述信源，而应用N维随机矢量 来描述。这N维随机矢量 有时也称为随机序列 若信源输出的N维