4-第4章节信息论课件.pptVIP

第四章 波形信源和波形信道;第一节 波形信源的统计特性和离散化; 就统计特性的区别来说，随机过程大致可分为平稳随机过程和非平稳过程两大类。 最常见的平稳随机过程为遍历过程，它不但统计特性不随时间平移而变化，而且它的集平均以概率1等于时间平均。 对于随机过程来说，只要是限频的，它的每个样本函数也可作同样的取样处理。每个样本函数都可以用一系列 时刻上的样本值 来表征。因为随机过程的样本函数x(t)有无限多个，因此，取样后瞬间 的样本值是一个随机变量。; 这样，通过取样，随即过程就成为可数的无限维的随机序列 。 如果随机过程又是限时的，时间间隔为T，则就成为2FT个有限维的随机序列。取样之后还要对取值的离散化。取样加量化才使随机过程变换成时间的取值都是离散的随机序列。量化必然带来量化噪声，引起信息损失。 ;连续信源的差熵 先看单个变量的基本连续信源的信息测度。基本连续信源的输出是取值连续的单个随机变量。可用变量的概率密度，变量间的条件概率密度和联合概率密度来描述。 变量的一维概率密度函数为： 一维概率分布函