第4章 波形信源和波形信道.pptVIP

实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号。这样的信源成为随机波形信源，其输出消息可以用随机过程{x(t)}来表示。 4.7 连续信道和波形信道的信息传输率 4.7.1 基本连续信道的平均互信息 输入信源X为 输出信源Y为 信道的转移概率密度函数满足 基本连续信道的信息传输率为 比特/自由度 4.7.2 多维连续信道的平均互信息 信道的转移概率密度函数 多维连续信道的平均互信息 多维连续信道的信息传输率为 比特/N个自由度 比特/自由度 平均每个自由度的信息传输率为 4.7.3 波形信道的信息传输率 比特/秒 2、对称性 3、凸状性 4、信息不增性 图4.10 两个串接连续信道 与离散信道的证明类似 4.7.4 连续信道平均互信息的特性 1、非负性 5、坐标变换平均互信息的不变性 图4.11 一般通信系统的信号变换 变换前后概率密度函数有 结论：在一一变换条件下，平均互信息保持不变。 信源无记忆 信道无记忆 信源信道皆无记忆 4.8 连续信道和波形信道的信道容量 一般加性波形信道的信道容量为： 比特/秒 在实际信道中，输入信号和噪声的平均功率总是有限的。现在平均功率受限的条件下，讨论各种连续信道和波形信道的信道容量。 4.8.1 单符号高斯加性信道 平均功率受限高 斯信道的信道容量 单符号高斯加性信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是加性高斯噪声。 设信道迭加的噪声n是均值为零，方差为 的一 维高斯噪声，噪声信源的熵为 单符号高斯加性 信道的信道容量 只有当信道的输入信号是均值为零，平均功率为高斯分布的随机变量时，信息传输率才能达到最大值。 4.8.5 限带高斯白噪声加性波形信道 而加入信道的噪声是加性高斯白噪声 （均值 为零、功率谱密度为 ），所以输出信号满足 此信道称为高斯白噪声加性波形信道。 信道的输入和输出信号都是随机过程 图4.14限带高斯白噪声加性信道变换成N个独立并联高斯加性信道 在[0，T]高斯白噪声加性信道的信道容量为 * 4.1 波形信源的统计特性和离散化 随机过程{x(t)}可以看成由一族时间函数 组成 称为样本函数。每个样本函数是随机过程的一个实现。 图4.1 一个随机过程 连续信源：信源输出的消息是在时间上离散，而取值上连续的、随机的。如遥控系统中有关电压、温度、压力等测得的连续数据。 随机波形信源：信源输出的消息不仅在时间上是连续的而且在取值上也是连续的、随机的。 于是定义 随机波形信源的特点： （1）随机波形信源中消息数是无限的。每一个可能的消息是随机过程的一个样本函数。每个样本函数是随机过程的一个实现。 （2）随机波形信源可用有限维概率密度函数族以及与各维概率密度函数有关的统计量来描述。 平稳随机过程：统计特性不随时间平移而变化。 非平稳随机过程：统计特性随时间平移而变化。 随机过程 时间离散的随机序列 取样定理 时间连续函数f(t)的频带受限（上限频率为F）取样间隔为 这样，通过取样，随即过程就成为可数的无限维 的随机序列 。 如果随机过程又是限时的，时间间隔为T，则就 成为2FT个有限维的随机序列。取样之后还要对取 值的离散化。取样加量化才使随机过程变换成时间 的取值都是离散的随机序列。量化必然带来量化噪 声，引起信息损失。 4.2.1 连续信源的差熵 先看单个变量的基本连续信源的信息测度。基本 连续信源的输出是取值连续的单个随机变量。可用变 量的概率密度，变量间的条件概率密度和联合概率密 度来描述。 4.2 连续/波形信源的信息测度 变量的一维概率密度函数为 联合概率密度函数为 一维概率分布函数为 条件概率密度函数为 它们之间 的关系为 图4.2 概率密度分布 并满足 基本连续信源的 数学模型为 于是，连续信源的熵定义为 无限大常数 单位为：奈特/自由度 同理，两个连续随机变量X、Y的联合熵和条件熵可以定义为 4.2.2 连续平稳信源和波形信源的差熵 连续平稳信源输出的消息是连续型的平稳随机序列。其数字模型是概率空间[X,p(x)], 连续平稳无记忆信源 1.N维联合差熵 2.N维条件差熵 且当随机序列中各变量统计独立时等式成立。 所以得，波形信源的差熵