第3讲信源模型详解.docVIP

 PAGE \* MERGEFORMAT 12 第3讲 信源模型 信源（information source），也称消息源，是通信系统中发送消息的一方。 信源所产生或者输出的消息（message）是一个符号序列。任何产生符号序列的事物都可视为信源。 报社、广播电台是信源；一个的人表情、行为是信源；我们所说的汉语是一个信源；一本英文小说也构成一个信源；水面波纹、天空的云等等万事万物都是信源，都在传递着各自的信息。 这一讲我们介绍离散信源的几种基本的和常用的模型。 随机过程 随机过程是一个带时间参数的随机变量，其取值的统计特性可随时间不断变化，用以机变量描述状态不断变化的物理系统或者随机现象。 定义1.1 随机过程是定义在同一个样本空间上一族随机变量，其中t为时间参数，T是参数集合。对于任何，随机变量的值称为随机过程在时刻t的状态。 为表达方便，可将随机过程简记为。 定义1.2 当随机过程的参数集合为实数区间时，该随机过程称为时间连续的。当随机过程的参数集合为整数集或者非负整数集时，该随机过程称为时间离散的。时间离散的随机过程称为随机序列。若X为随机序列，则X在时刻t的状态X(t)一般记为Xn。 实例：热噪声电压的样本函数 这里我们主要学习关于随机序列的基本概念和性质，随机过程的更多知识在后面需要的地方再作介绍。 随机序列的概率分布： 随机序列的统计特性用其中各随机变量的概率分布和联合概率分布进行描述。 一维分布：对于 这是随机序列在时刻t处于状态x的概率。 二维分布：对于任何状态与，随机序列从t时刻开始所经历的状态序列为的概率记为 则函数称为该随机序列在t时刻的二维分布。 n维分布：t时刻的n维分布定义为，对于任何状态序列， 其中事件表示随机序列从t时刻开始所连续经历的状态为 。 记号：我们将随机序列X在t时刻的n维分布也记为 初始分布：对于任何正整数n，初始时刻的n维分布称为初始分布。 高维分布蕴含低维分布 由t时刻的n维分布可以确定t时刻的(n-1)维分布，即 因此，由t??刻的n维分布可以确定t时刻的所有低维分布。 随机序列的平稳性 定义1.3 若随机序列各时刻的n维分布相同，即对于任何n维状态序列和任何时刻t，有 则称该随机序列是n维平稳的。若对于任何正整数n，随机序列都是n维平稳的，则称该随机序列为平稳的（stationary）。平稳随机序列的n维分布记为或者。 定义1.4 若随机序列中各随机变量是相互独立并且具有相同的概率分布，则称该随机序列为独立同分布的，记为i.i.d.。 独立同分布序列是最简单的一类随机序列。 独立同分布序列是平稳的： 由同分布性可得，对于任何时刻t和任何状态x，有 等价地， 由相互独立性可得，对于任何时刻和任何状态序列，有 再由（1）可得， 从而有 2. 波形信源与离散信源 波形信源使用波形信号，例如电磁波的信号，调频电磁波的信号是其不同的频率， 调幅电磁波的信号是不同的振幅。 这些信号是在一段连续时间内高低连续变化的物理量，用以模拟声音、图像的变化，故也称为模拟信号。因此，波形信源的可以用时间参数连续的随机过程进行建模和描述。 波形信源的模型： 波形信源可以用连续参数的随机过程表示，其中参数集合或者，随机变量表示波形信源在时刻t所输出的信号（例如，一个振幅或者一个频率）。 波形信源在任何一段时间内输出的波形信号称为该信源的消息，它是随机过程限制在该段时间上的样本函数。 形信源的离散化：摸数转换（A/D transformation） 将连续的模拟量通过取样和量化两个步骤转换为离散的数字量。例如，对一幅图像扫描，将它转换为像素阵列，其中每个像素由色彩和亮度组成，再对每个像素进行量化，即从指定的数值列表中选取最接近像素本身值的整数值作为像素值的近似表示。这样原来的图像就转换为数字图像。 波形信源产生的波形信号经过离散化后变为数字信号，从而形成离散信源。 离散信源产生的符号是离散的，例如汉字、字母都是离散符号，所以汉语和英语是离散信源。数字线路中传递的数字信号，所以发送这些数字信号的设备是离散信源。 离散符号可以编码为等长的整数，例如ASCII码，汉字国家标准码，等等。因此，我们将离散信源的符号统一视为整数。若某离散信源共有n个符号，则该离散信源的符号集记为