第二章 离散信源及其信息测度_01..pptVIP

定义自信息的数学期望为信源的平均信息量。 2.2 离散信源的信息熵 —— 信息熵 信息熵的单位取决于对数选取的底。 （ 进制单位/符号） 信息熵：从整个信源的统计特性来考虑，是从平均意义上来表征信源的总体信息测度的。 对于某特定信源（概率空间给定），其信息熵是一个确定的数值。 不同的信源因统计特性不同，其熵也不同。 2.2 离散信源的信息熵 —— 信息熵 例. 一个布袋内放100个球，其中80个球为红色，20球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息量。 解：设x1表示摸出的是红球，x2表示摸出的是白球。 随机事件的概率空间为 2.2 离散信源的信息熵 —— 信息熵 2.2 离散信源的信息熵 —— 信息熵 第二章 离散信源及其信息测度 第一节 信源的数学模型及分类 第二节 离散信源的信息熵 第三节 信息熵的基本性质 第四节 离散无记忆的扩展信源 第五节 离散平稳信源 第六节 马尔可夫信源 第七节 信源剩余度与自然语言的熵 2.1 信源的数学模型及分类 什么是信源？ 信源是信息的来源。实际通信中常见的信源有：语音、文字、图像、数据…… 在信息论中，信源是产生消息（符号）、消息序列以及连续消息的来源。数学上，信源是产生随机变量、随机序列和随机过程的源。 2.1 信源的数学模型及分类 随机变量： 离散型随机变量：样值离散 连续型随机变量：样值连续 随机矢量（随机序列）：一系列时间上离散的随机变量 离散型随机序列：样值离散 连续型随机序列：样值连续 随机过程：一连串时间上连续的随机变量 离散型随机过程：样值离散 连续型随机过程：样值连续 2.1 信源的数学模型及分类 信源的最基本特性： 统计不确定性 运用概率论和随机过程的理论来研究信息，这是香农信息论的基本点。 本节要求： 掌握信源的分类 掌握各种信源的描述方法 2.1 信源的数学模型及分类 信源的分类： 按照消息在幅度上的分布情况： 离散信源（离散平稳信源、离散非平稳信源） 连续信源（连续平稳信源、连续非平稳信源） 按照信源符号之间的关系： 无记忆信源 发出单个符号的无记忆信源 发出符号序列的无记忆信源 有记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 2.1 信源的数学模型及分类 —— 信源输出的消息用随机变量描述 有些信源可能输出的消息数是有限的或可数的，而且每次只输出其中一个消息。例如，扔一颗质地均匀的，研究其下落后，朝上一面的点数。每次试验结果必然是1点、2点、3点、4点、5点、6点中的某一个面朝上。这种信源输出消息是“朝上的面是1点”、“朝上的面是2点”、......、“朝上的面是6点”等六个不同的消息。每次试验只出现一种消息，出现哪一种消息是随机的，但必定是出现这六个消息集中的某一个信息，不可能出现这个集合以外的什么消息。这六个不同的消息构成两两互不相容的基本事件集合，用符号 来表示这些消息，得这信源的样本空间为符号集 。 。由大量试验结果证明，各消息都是等概率出现的，都等于 。 2.1 信源的数学模型及分类 —— 信源输出的消息用随机变量描述 因此，可以用一个离散型随机变量 来描述这个信源输出的消息。这个随机变量 的样本空间就是符号集 ，而 得概率分布就是各消息出现的先验概率，为 。抽象后得到这个信源的数学模型为 并满足 1、离散信源 数学模型如下： 集合X中，包含该信源包含的所有可能输出的消息，集合P中包含对应消息的概率密度，各个消息的输出概率总和应该为1。 例：投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等。 2.1 信源的数学模型及分类 —— 信源输出的消息用随机变量描述 2、连续信源 数学模型如下： 2.1 信源的数学模型及分类 —— 信源输出的消息用随机变量描述 每次只输出单个符号（代码）的消息，但消息的可能数目是无穷多