第3章 离散信源及其信息测度(第1部分).pptVIP

* * 欢迎各位同学光临 《信息论与编码理论》课程 主讲教师：禹思敏 第3章 离散信源及其信息测度 从本章开始，我们将从有效而可靠地传输信息的观点出发，对组成信息传输系统（如图1．3所示）的各个部分分别进行讨论。本章首先讨论信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度——熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。 §3. 1 信源的数学模型及分类 信源是信息的来源，是产生消息或消息序列的源泉。信息是抽象的，而消息是具体的。消息不是信息本身，但它包含着和携带着信息。所以，要通过信息的表达者——消息来研究信源。我们不研究信源的内部结构，不研究信源为什么产生和怎样产生各种不同的、可能的消息，而只研究信源的各种可能的输出，以及输出各种可能消息的不确定性。 正如前面绪论中所述，在通信系统中收信者在未收到消息以前，对信源发出的消息是不确定的，是随机的，所以可用随机变量、随机矢量或随机过程来描述信源输出的消息。或者说，用一个样本空间及其概率测度——概率空间来描述信源。 不同的信源输出的消息不同，可以根据消息的不同的随机性质来对信源进行分类。 注意完备集的概念！ 一、离散信源的概念 二、连续信源的概念 三、随机序列与平稳随机序列的概念 很多实际信源输出的