第3讲 信源模型解析.docVIP

第3讲 信源模型 信源（information source），也称消息源，是通信系统中发送消息的一方。 信源所产生或者输出的消息（message）是一个符号序列。任何产生符号序列的事物都可视为信源。 报社、广播电台是信源；一个的人表情、行为是信源；我们所说的汉语是一个信源；一本英文小说也构成一个信源；水面波纹、天空的云等等万事万物都是信源，都在传递着各自的信息。 这一讲我们介绍离散信源的几种基本的和常用的模型。 随机过程 随机过程是一个带时间参数的随机变量，其取值的统计特性可随时间不断变化，用以机变量描述状态不断变化的物理系统或者随机现象。 定义1.1 随机过程是定义在同一个样本空间上一族随机变量，其中t为时间参数，T是参数集合。对于任何，随机变量的值称为随机过程在时刻t的状态。 为表达方便，可将随机过程简记为。 定义1.2 当随机过程的参数集合为实数区间时，该随机过程称为时间连续的。当随机过程的参数集合为整数集或者非负整数集时，该随机过程称为时间离散的。时间离散的随机过程称为随机序列。若X为随机序列，则X在时刻t的状态X(t)一般记为Xn。 实例：热噪声电压的样本函数 这里我们主要学习关于随机序列的基本概念和性质，随机过程的更多知识在后面需要的地方再作介绍。 随机序列的概率分布： 随机序列的统计特性用其中各随机变量的概率分布和联合概率分布进行描述。 一维分布：对于 这是随机序列在时刻t处于状态x的概率。 二维分布：对于任何状态与，随机序列从t时刻开始所经历的状态序列为的概率记为 则函数称为该随机序列在t时刻的二维分布。 n维分布：t时刻的n维分布定义为，对于任何状态序列， 其中事件表示随机序列从t时刻开始所连续经历的状态为 。 记号：我们将随机序列X在t时刻的n维分布也记为 初始分布：对于任何正整数n，初始时刻的n维分布称为初始分布。 高维分布蕴含低维分布 由t时刻的n维分布可以确定t时刻的(n-1)维分布，即 因此，由t时刻的n维分布可以确定t时刻的所有低维分布。 随机序列的平稳性 定义1.3 若随机序列的维分布 则称该随机序列是平稳的。（stationary）信源平稳性大大方便了我们的统计工作，例如，为了估计3-汉字组合的概率，我们可以统计书本中任何位置上出现。 定义3.1 若 定义3.2 状态离散的马尔科夫序列称为马尔科夫链。 若马尔科夫链的一阶条件概率不随时间t改变，则称该马尔科夫链为时齐的（homogeneous），也称为时不变的（time-invariant）。 注：与平稳性相比较，时齐性的要求较弱。前者蕴含后者，后者并不蕴含前者。 约定：在以后设计马尔科夫链的例题习题中，若无特别声明，就默认其中马尔科夫链为时齐的。 时齐马尔科夫链有两种表征： （1）转移矩阵： 马尔科夫链的所有一阶条件概率构成的矩阵称为该马尔科夫链的转移矩阵。转移矩阵是一个方阵，记录时齐马尔科夫链各状态之间的转移概率。下列矩阵共有两行，表明时齐马尔科夫链共有2个状态，姑且称为状态1和状态2。矩阵第1行是状态1转移到状态2的概率分布，第2行是状态2转移到状态1的概率分布。 （2）状态转移图：上述矩阵表示的时齐马尔科夫链也可直观地表示为如下状态转移图，其中两个结点分别表示两个不同状态，有向边称为状态间的转移，有向边上的标记称为转移概率。 定理3.3令P为时齐马尔科夫链X的转移矩阵，则t+n时刻的概率分布为 其中概率分布都表示为行向量。 根据上述定理，我们称Pn为n-步转移矩阵。 命题 若时齐马尔科夫链是一维平稳的，则它是任意维平稳的。 证明：请读者完成。 证毕 一些特殊的初始分布会使得时齐马尔科夫链具有平稳性，这就是所谓平稳分布。 定义3.4 令时齐马尔科夫链（的转移概率矩阵）为P，若存在分布，使得，则称为平稳分布。 可以看出，当 时齐马尔科夫链的渐近平稳性 定义3.5（渐近平稳性）随机序列X称为渐近平稳的，当且仅当其各维分布存在极限分布，即对于任何，存在极限 其中称为n-维极限分布。 实际意义：随着时间推移，随