北京交通大学信息论第六章素材.ppt

第六章 波形信源和波形信道 第一节 波形信源的统计特性和离散化 第二节 连续信源和信源的信息测度 第三节 具有最大熵的连续信源 第四节 连续信道和波形信道的分类 第五节 连续信道和波形信道的信息传输率 第六节 连续信道和波形信道的信道容量 第七节 连续信道编码定理 第一节 波形信源的统计特性和离散化 实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号。这样的信源成为随机波形信源，其输出消息可以用随机过程{x(t)}来表示。 随机过程{x(t)}可以看成由一族时间函数 组成 称为样本函数。每个样本函数是随机过程的一个实现。 第一节 波形信源的统计特性和离散化 就统计特性的区别来说，随机过程大致可分为平稳随机过程和非平稳过程两大类。 最常见的平稳随机过程为遍历过程，它不但统计特性不随时间平移而变化，而且它的集平均以概率1等于时间平均。 对于随机过程来说，只要是限频的，它的每个样本函数也可作同样的取样处理。每个样本函数都可以用一系列 时刻上的样本值 来表征。因为随机过程的样本函数x(t)有无限多个，因此，取样后瞬间 的样本值是一个随机变量。 第一节 波形信源的统计特性和离散化 这样，通过取样，随即过程就成为可数的无限维的随机序列 。 如果随机过程又是限时的，时间间隔为T，则就成为2FT个有限维的随机序列。取样之后还要对取值的离散化。取样加量化才使随机过程变换成时间的取值都是离散的随机序列。量化必然带来量化噪声，引起信息损失。 第二节 波形信源和波形信源的信息测度 连续信源的差熵 先看单个变量的基本连续信源的信息测度。基本连续信源的输出是取值连续的单个随机变量。可用变量的概率密度，变量间的条件概率密度和联合概率密度来描述。 变量的一维概率密度函数为 一维概率分布函数为 条件概率密度函数为 联合概率密度函数为 第二节 波形信源和波形信源的信息测度 它们之间的关系为 基本连续信源的数学模型为 其中R是全实数集。 第二节 波形信源和波形信源的信息测度 第二节 波形信源和波形信源的信息测度 连续信源的差熵只具有熵的部分含义和性质 （1）可加性 并当且仅当X与Y统计独立时 所以可得 （2）凸状性和极值性 差熵h(X)是输入概率密度函数p(x)的П型凸函数，对于某一概率密度函数可以得到差熵的最大。 （3）差熵可为负值 第二节 波形信源和波形信源的信息测度 波形信源的差熵 实际信源的输入和输出都是平稳随机过程，其 {x(t)}和{y(t)}可以通过取样，分解成取值连续的无穷平稳随机序列来表示，所以平稳随机过程的熵就是无穷平稳随机序列的熵。 第二节 波形信源和波形信源的信息测度 当对于限频F/限时T的平稳随机过程，它可以近似地用有限维N=2FT平稳随机矢量表示。这样，一个频带和时间都为有限的连续时间过程就转化为有限维时间离散的平稳随机序列了。 和离散变量中一样， 易于证明: 且当随机序列中各变量统计独立时等式成立。 第二节 波形信源和波形信源的信息测度 两种特殊连续信源的差熵 1.均匀分布连续信源的熵值 第二节 波形信源和波形信源的信息测度 无记忆连续平稳信源和无记忆离散平稳信源一样，差熵 也满足 限频、限时均匀分布的波形信源的熵为 在波形信源中常采用单位时间内信源的差熵——熵率。 均匀分布的波形信源的熵率为 第二节 波形信源和波形信源的信息测度 连续信源的熵为: 可见，正态分布的连续信源的熵与数学期望m无关，只与其 方差 有关。 第二节 波形信源和波形信源的信息测度 如果N维连续平稳信源输出的N维连续随机矢量 是正态分布则称此信源为N维高斯信源。 其差熵为： 当各变量之间统计独立，则C为对角线矩阵，并有 所以，N维无记忆高斯信源的熵即N维统计独立的正态分布随 机变量的差熵为 第三节 具有最大熵的连续信源 通常我们最感兴趣的是两种情况：一种是信源的输出值受限；一种是信源的输出平均功率受限。 峰值功率受限条件下信源的最大值 若某信源输出信号的峰值功率受限为，它等价于信源输出的连续随机变量