《信息论与编码基础》第2章 离散信源及其信息测度.ppt

信息论与编码基础 第二章 离散信源及其信息测度 第二章 离散信源及其信息测度 消息是信息的载荷者。对信息的研究，要从消息开始。 信源是产生消息或消息序列的源头。我们并不关心信源的内部结构，不关心消息的产生原因和过程，而研究信源各种可能的输出，以及输出各种可能消息的不确定性。 对收信者而言，在收到消息之前，对于信源发送什么消息是不可预知的、随机的。因此可以用随机变量和随机过程来描述信源输出的消息，或者说用一个概率空间来描述信源。 不同的信源输出不同类型的消息。可以根据消息不同的随机性质来对信源进行分类。 第二章 离散信源及其信息测度 本章主要内容 信源的数学模型及分类 离散信源的信息测度-信息熵 信息熵的基本性质 离散无记忆的扩展信源 离散平稳信源 离散平稳信源的极限熵 信源的冗余度 2.1 信源的数学模型及分类 单符号信源：只输出单个符号（代码）的消息的信源。 离散单符号信源 连续单符号信源 平稳随机序列信源：信源输出的消息由一系列符号序列所组成，可用N维随机矢量 X＝(X1, X2, …, XN) 描述，且随机矢量X 的各维概率分布都与时间起点无关，称为平稳随机序列。 离散平稳信源 连续平稳信源 无记忆（独立）离散平稳信源 有记忆信源 m阶马尔可夫信源 随机波形信源 2.1 信源的数学模型及分类 1. 离散单符号信源 特点：输出是单个符号（代码）的消息，符号集的取值 A={a1, a2, …, aq}是有限的或可数的，可用一维离散型随机变量 X 来描述。 例：“投硬币”输出正、反面的消息；“写信”输出语言文字的字、词、句；“打电报”输出编码符号等等。 2.1 信源的数学模型及分类 数学模型：设每个信源符号ai 出现的（先验）概率 p(ai) (i=1,2,…,q) 满足： 2.1 信源的数学模型及分类 例：以摇骰子的骰筒为信源，骰子的点数只能是1~6的六个不同消息，他们构成两两不相容的基本事件集合 A={a1, a2, a3, a4, a5, a6} 。每次试验输出的消息只能是其中之一。假设骰子是均匀的，则 2.1 信源的数学模型及分类 2. 连续单符号信源 特点：输出是单个符号（代码）的消息，但其可能出现的消息数是不可数的无限多个。即输出消息的符号集A的取值是连续的。同时这些数据的取值又是随机的。此时可用一维的连续型随机变量X 来描述。 例：语音信号；热噪声信号；遥控系统中有关电压、温度、压力等测得的连续数据等等。 2.1 信源的数学模型及分类 数学模型：连续信源的数学模型是连续的概率空间。即： **复习 随机变量X的累积分布函数 (Cumulative Distribution Function, CDF) 定义为： **复习 PDF的性质 2.1 信源的数学模型及分类 3. 平稳随机序列信源 实际中很多信源输出的消息由一系列符号序列构成。 例：对产生自然语言文字的信源，其样本空间是语言的基本符号集合（字母+标点），由若干基本符号构成的序列才是有意义的消息。这些符号序列在时间上是离散的，其中每个符号的出现是不确定的、随机的。 例：对产生平面灰度图象的信源，其样本空间是灰度值集合，由一系列XY空间上的点的灰度构成图像消息。这些图像消息在时间上是离散的，其中每个点的灰度值的确定是随机的。 2.1 信源的数学模型及分类 随机序列：信源输出的消息由一系列符号序列所组成时，可用N维随机矢量 X＝(X1,X2,…,XN)来描述消息，其中Xi (i＝1,2,…,N)是随机变量，N可以是有限正整数或无穷大。 N维随机矢量 X 也称为随机序列。 信源输出的随机序列的统计特性比较复杂，分析困难，一般总是假设信源输出的是平稳的随机序列，即序列的统计特性与时间的推移无关。大多数的实际信源符合平稳性假设。 离散平稳信源：每个随机变量Xi (i＝1,2,…,N)都是离散型随机变量，且随机矢量X 的各维概率分布都与时间起点无关。 连续平稳信源：每个随机变量Xi (i＝1,2,…,N) 都是取值连续的随机变量。且随机矢量X 的各维概率密度函数都与时间起点无关。 2.1 信源的数学模型及分类 4. 离散无记忆平稳信源 考察离散平稳信源的一种特例：信源发出的符号都相互统计独立，即随机矢量X的各随机变量分量 Xi (i＝1,2,…,N)之间是无依赖的，统计独立的。 由独立性，联合概率分布： P(X )=P(X1, X2, …,XN)=P1(X1) · P2(X2)· · · PN(XN) 又由平稳性： P1(Xi) = P2 (Xi)= · · ·= PN (Xi) 故： 2.1 信源的数学模型及分类 设各随机变量 Xi 取自同样符号集 A={a1, a2, …, aq}，则： 2.1