《信息论与编码基础》第4章 波形信源及波形信道.pptVIP

信息论与编码基础 第四章 波形信源及波形信道 信息科学与技术学院 计算机科学系 蔡国扬 isscgy@mail.sysu.edu.cn 第四章 波形信源及波形信道 本章主要内容 波形信源的统计特性和离散化 连续信源和波形信源的信息测度 连续信源熵的性质及最大差熵定理 具有最大差熵的连续信源 连续信道和波形信道的分类 连续信道和波形信道的信息传输率 连续信道和波形信道的信道容量 4.1 波形信源的统计特性及离散化 实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号。这样的信源成为随机波形信源，其输出消息可以用随机过程 {x(t)} 来表示。 随机过程{x(t)}可以看成由一族时间函数 {xi(t)} 组成，称为样本函数。每个样本函数是随机过程的一个实现。 随机波形信源中消息数是无限的。 随机波形信源可用有限维概率密度函数族以及与各维函数概率密度函数有关的统计量来描述。 4.1 波形信源的统计特性及离散化 就统计特性的区别来说，随机过程大致可分为平稳随机过程和非平稳过程两大类。最常见的平稳随机过程为遍历过程，它不但统计特性不随时间平移而变化，而且它的集平均以概率1等于时间平均。 对于限频随机过程，它的每个样本函数都可以用一系列 (n/2F)时刻上的样本值 x(n/2F)来表征。因为随机过程的样本函数x(t)有无限多个，因此，取样后瞬间的样本值 x(n/2F) 是一个随机变量。这样，通过取样，随机过程就成为可数的无限维的随机序列： 4.1 波形信源的统计特性及离散化 如果随机过程又是限时的，时间间隔为T，则上述序列成为2FT个有限维的随机序列。取样之后再对取值进行离散化，取样加量化使随机过程变换成时间的取值都是离散的随机序列。量化必然带来量化噪声，引起信息损失。 随机过程描述输出消息的信源称为随机波形信源。 用连续随机变量描述输出消息的信源称为连续信源。 4.2 连续信源和波形信源的信息测度 1. 连续信源的差熵 先看单个变量的基本连续信源的信息测度。基本连续信源的输出是取值连续的单个随机变量。可用变量的概率密度、变量间的条件概率密度和联合概率密度来描述。 4.2 连续信源和波形信源的信息测度 它们之间的关系为 4.2 连续信源和波形信源的信息测度 连续变量 X 可以量化分层后用离散变量描述。量化单位越小，则所得到的离散变量和连续变量越接近。因此，连续变量的信息测度可以用离散变量的信息测度来逼近。 把连续信源X的取值区间 [a, b] 均匀分割成 n 个宽度为 ? 的小区间，显然 4.2 连续信源和波形信源的信息测度 此时，连续变量X可用取值为 xi (i=1,2,…,n) 的离散变量 Xn 来近似。连续信源被量化成离散信源。 4.2 连续信源和波形信源的信息测度 当 n??，??0，离散随机变量 Xn 趋于连续随机变量X，而离散信源 Xn 的熵 H(Xn) 的极限值就是连续信源的信息熵，即： 4.2 连续信源和波形信源的信息测度 讨论：上述定义的连续信源的熵并不是实际信源输出的绝对熵。连续信源的绝对熵还要对此加上一项无穷大的常数。从概念上理解，由于连续信源的可能取值数是无穷多个，若假设取值是等概率分布，那么信源的不确定性为无穷大。当确知输出为某个值后，所获得的信息量也将为无穷大。可见，h(X)已不能代表信源的平均不确定性的大小，也不能代表连续信源输出的信息量。 采用上述定义，一方面可以和离散信源的熵在形式上取得统一；另一方面，在实际问题中常常讨论的是熵之间的差值，这时两个无穷大的常数项，只要两者作离散逼近时所取得间隔 ? 一致，它们将互相抵消。因此通常将 h(X) 称为差熵，以区别于原来的绝对熵。 4.2 连续信源和波形信源的信息测度 同理可以定义两个连续变量 X、Y 的联合熵和条件熵： 4.2 连续信源和波形信源的信息测度 2. 连续平稳信源和波形信源的差熵 实际信源的输入和输出都是平稳随机过程，其 {x(t)}和{y(t)}可以通过取样，分解成取值连续的无穷平稳随机序列来表示，所以平稳随机过程的熵就是无穷平稳随机序列的熵。 4.2 连续信源和波形信源的信息测度 对于限频F/限时T的平稳随机过程，它可以近似地用有限维N=2FT 平稳随机矢量表示。这样，一个频带和时间都为有限的连续时间过程转化为有限维时间离散的平稳随机序列。 类似地可以证明： 4.2 连续信源和波形信源的信息测度 3. 两种特殊连续信源的差熵 (1) 均匀分布连续信源的熵值 一维连续随机变量 X 在 [a, b] 区间内均匀分布时，该基本连续信源的熵为： 4.2 连续信源和波形信源的信息测度 无记忆连续平稳信源和无记忆离散平稳信源一样，差熵满足 4.2 连续信源和波形