4--第4章信息论课件.pptVIP

第四章 波形信源和波形信道;第一节 波形信源的统计特性和离散化; 就统计特性的区别来说，随机过程大致可分为平稳随机过程和非平稳过程两大类。 最常见的平稳随机过程为遍历过程，它不但统计特性不随时间平移而变化，而且它的集平均以概率1等于时间平均。 对于随机过程来说，只要是限频的，它的每个样本函数也可作同样的取样处理。每个样本函数都可以用一系列 时刻上的样本值 来表征。因为随机过程的样本函数x(t)有无限多个，因此，取样后瞬间 的样本值是一个随机变量。; 这样，通过取样，随即过程就成为可数的无限维的随机序列 。 如果随机过程又是限时的，时间间隔为T，则就成为2FT个有限维的随机序列。取样之后还要对取值的离散化。取样加量化才使随机过程变换成时间的取值都是离散的随机序列。量化必然带来量化噪声，引起信息损失。 ;连续信源的差熵 先看单个变量的基本连续信源的信息测度。基本连续信源的输出是取值连续的单个随机变量。可用变量的概率密度，变量间的条件概率密度和联合概率密度来描述。 变量的一维概率密度函数为： 一维概率分布函数为： 条件概率密度函数为： 联合概率密度函数为：;第二节 波形信源和波形信源的信息测度;;同理可以定义两个连续变量X、Y的联合熵和条件熵;连续信源的差熵只具有熵的部分含义和性质 （1）可加性 并当且仅当X与Y统计独立时 所以可得 （2）凸状性和极值性 差熵h(X)是输入概率密度函数p(x)的П型凸函数，对于某一概率密度函数可以得到差熵的最大。 （3）差熵可为负值;; 当对于限频F/限时T的平稳随机过程，它可以近似地用有限维N=2FT平稳随机矢量表示。这样，一个频带和时间都为有限的连续时间过程就转化为有限维时间离散的平稳随机序列了。 和离散变量中一样， 易于证明: 且当随机序列中各变量统计独立时等式成立。;两种特殊连续信源的差熵 1.均匀分布连续信源的熵值 ;无记忆连续平稳信源和无记忆离散平稳信源一样，差熵 也满足 限频、限时均匀分布的波形信源的熵为： 在波形信源中常采用单位时间内信源的差熵——熵率。 均匀分布的波形信源的熵率为： ;连续信源的熵为: 可见，正态分布的连续信源的熵与数学期望m无关，只与其 方差 有关。 ;高斯噪声信源的熵;第三节 具有最大熵的连续信源;第三节 具有最大熵的连续信源;第三节 具有最大熵的连续信源;第四节 连续信道和波形信道的分类;第四节 连续信道和波形信道的分类;第四节 连续信道和波形信道的分类;考虑双边谱密度，低频限带高斯白噪声的功率谱密度为 其自相关函数： 由功率谱密度可知在时间间隔 的两个样本点之间的相 关函数等于零， 所以各样本值之间不相关。有因为随即变量是高斯概率 密度分布的，所以随机变量之间统计独立。 ;第四节 连续信道和波形信道的分类;按噪声对信号的功能分类 1.乘性信道 信道中噪声对信号的干扰作用表现为是与信号相乘的关系，则信道称为乘性信道，噪声称为乘性干扰。 在实际无线电通信系统中常会遇到乘性干扰。 2.加性信道 信道中噪声对信号的干扰作用表现为与信号相加的关系，则此信号称为加性信道，此噪声称为加性噪声。即 。;连续信道的分类 我们研究波形信道，就是要研究波形信道的信息传输问题。一方面为了便于研究，另一方面因为实际波形信道的频率总是受限的,所以在有限观察时间T内，能满足限频F，限时T的条件。因此，根据时间取样定理把波形信道的输入{x(t)}和输出{y(t)}的平稳随机过程信号离散化成N(=2FN)个时间离散，取值连续的平稳随即序列 : 和 这样，波形信道就转化成多维连续信道。; 若多维连续信道的传递概率密度函数满足： 则称此信道为连续无记忆信道。若连续信道在任一时刻输出的变量只与对应时刻的输入变量有关，与以前时刻的输入，输出变量无关，也与以后的输入变量无关，则此信道为无记忆连续信道。 连续信道任何