CH4波形信源与波形信道.pptVIP

第4章 波形信源和波形信道 4.1 波形信源的统计特性和离散化 4.2 连续信源和波形信源的信息测度 4.3 连续信源熵的性质及最大差熵定理 4.4 连续信道和波形信道的分类 4.5 连续信道和波形信道的信息传输率 4.6 连续信道和波形信道的信道容量 4.1 波形信源的统计特性和离散化 实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号等都是时间的连续波形信号（一般称为模拟信号）。而且当固定某一时刻t=t0时，它们的可能取值也是连续的又是随机的。这样的信源称为随机波形信源，其输出消息可以用随机过程{x(t)}来表示。 随机过程{x(t)}可以看成由一族时间函数 组成的， 称为样本函数。每个样本函数是随机过程的一个实现。 （1）随机波形信源中消息数是无限的。 （2）随机波形信源可用有限维概率密度函数族以及与各维函数概率密度函数有关的统计量来描述。 4.1 波形信源的统计特性和离散化 就统计特性的区别来说，随机过程大致可分为 1、平稳随机过程：其统计特性（各各维概率密度函数）不随时间平移而变化的随机过程； 2、非平稳过程：其统计特性（各各维概率密度函数）随时间平移而变化的随机过程； 最常见的是平稳遍历的随机过程，如通信信号等 4.1 波形信源的统计特性和离散化 取样加量化才使随机过程变换成时间和取值都是离散的随机序列。量化必然带来量化噪声，引起信息损失。 用随机过程描述输出消息的信源称为随机波形信源。用连续随机变量描述输出消息的信源称为连续信源。 4.2 连续信源和波形信源的信息测度 连续信源的差熵 先看单个变量的基本连续信源的信息测度。基本连续信源的输出是取值连续的单个随机变量。可用变量的概率密度，变量间的条件概率密度和联合概率密度来描述。 变量的一维概率密度函数为 一维概率分布函数为 条件概率密度函数为 联合概率密度函数为 4.2 连续信源和波形信源的信息测度 它们之间的关系为 基本连续信源的数学模型为 其中R是全实数集。 连续变量X可量化分层后用离散变量来描述，量化单位越小，则所得的离散变量越接近于连续变量。 4.2 连续信源和波形信源的信息测度 4.2 连续信源和波形信源的信息测度 平稳随机信源的差熵 连续平稳信源输出的消息是连续型的平稳随机序列，其数学模型是概率空间 ， ,其中 都是连续型随机变量，N维概率密度为 4.2 连续信源和波形信源的信息测度 4.2 连续信源和波形信源的信息测度 两种常见的特殊连续信源的差熵 1.均匀分布连续信源的熵值 （见P134-135） 4.2 连续信源和波形信源的信息测度 无记忆连续平稳信源和无记忆离散平稳信源一样，差熵也满足 如果波形信源限频的，设频率为F；又是限时的，时间限制为T，则就成为2FT个有限维的随机序列。限频、限时均匀分布的波形信源的熵为 在波形信源中常采用单位时间内信源的差熵——熵率。 均匀分布的波形信源的熵率为 4.2 连续信源和波形信源的信息测度 连续信源的熵为: 可见，正态分布的连续信源的熵与数学期望m无关，只与其 方差 有关。 4.2 连续信源和波形信源的信息测度 如果N维连续平稳信源输出的N维连续随机矢量 是正态分布则称此信源为N维高斯信源。 其差熵为： 当各变量之间统计独立，则C为对角线矩阵，并有 所以，N维无记忆高斯信源的熵即N维统计独立的正态分布随 机变量的差熵为 4.3 连续信源熵的性质及最大差熵定理 1.差熵的性质 连续信源的差熵只具有部分信息熵的含义和性质 （1）可加性（见P137） 所以可得 并当且仅当X与Y统计独立时等号成立 （2）上凸性 差熵h(X)是输入概率密度函数p(x)的∩型凸函数，即对于任意两个概率密度函数 和 及任意 ,则有 4.3 连续信源熵的性质及最大差熵定理 1.差熵的性质 （3）差熵可为负值（见P137） 连续信源的熵在某些情况下，可以得出其值为负值。 （4）变换性（见P138） 连续信源输出的随机变量（或随机矢量）通过确定的一