信源的数学模型及分类.PPT

电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 电子信息工程学院 信息论 主讲教师：李玉峰 通信过程是从信源开始的，信源发送的是消息或消息序列，通信系统中传递的是消息，消息中包含信息。因此，我们通过研究消息来研究信源。 在通信系统中收信者在收到消息之前，对信源发出的消息是不知道的，是不确定的、随机的，所以可以用随机变量、随机矢量或者随机过程来描述信源输出的消息。 通常用一个样本空间及其概率测度——概率空间来描述信源。 2.1 信源的数学模型及分类 信源的消息符号是离散的且是有限的，每次信源的输 出为单个的信源符号，且所有符号的概率满足完备性，这是最基本的离散信源。如书信、文稿、电报等。 如果信源输出为连续信号，如语音、电压、温度、压力、振动信号等，这些信源的输出都是连续的，随机取值的，称为连续信源。其输出消息是不可数的。 连续信源的数学模型是连续型的概率空间，用下式表示： 2.1.1信源输出的消息用随机变量描述 2.1 信源的数学模型及分类 2.1.2信源输出的消息用随机矢量描述 实际信源每次输出的消息是按一定概率选取的符号序列，可以看做是时间上或者空间的随机矢量。用N维随机矢量 表示，又称为随机序列。 若随机矢量的各维概率分布都与时间起点无关，这样的信源称为平稳信源。 每个随机变量Xi都是离散取值且其可能取值是有限的，这样的平稳信源称为离散平稳信源。 每个随机变量Xi都是连续取值的连续型随机变量，这样的平稳信源则为连续平稳信源。 2.1 信源的数学模型及分类 2.1 信源的数学模型及分类 若信源先后发出的各个符号彼此统计独立，则： 若不同时刻的离散随机变量 的取值于同一个符号集合 则有： 若该信源不同时刻发出的符号之间无依赖关系，彼此统计独立，则为离散无记忆信源。 2.1 信源的数学模型及分类 则信源X所输出的随机矢量X所描述的信源称为离散无记忆信源X的N次扩展信源。 若信源在不同时刻发出的符号之间是相互依赖的，这种信源为有记忆信源。 通常符号之间的依赖关系（记忆长度）是有限的，若记忆长度为m+1,则称这种有记忆信源为m阶马尔可夫信源。 用条件概率来描述随机序列中各随机变量之间依赖关系： 2.1 信源的数学模型及分类 若上述条件概率与时间起点无关,即信源输出符号序列可看成为时齐马尔可夫链，则此信源称为时齐马尔可夫信源。 在连续平稳信源情况下，也分为无记忆信源和有记忆信源。 在连续平稳信源情况下，若信源输出的连续型随机矢量中，各随机变量之间无依赖且统计独立，则称此信源为连续平稳无记忆信源。 在连续平稳信源情况下，若信源输出的连续型随机矢量中，各随机变量之间有依赖，则称此信源为连续平稳有记忆信源。 2.1 信源的数学模型及分类 2.1.3信源输出的消息用随机过程描述 很多实际信源的输出消息常常是时间和取值都是连续的，例如语音信号、热噪声信号、电视信号等时间连续函数。同时在某一具体时间t0,它们的可能取值又是连续的和随机的。 对于这种信源的输出消息，可用随机过程来描述。称这类信源为随机波形信源（也称随机模拟信源）。如电视信号X（x0,y0,t） 按照取样定理，随机过程也可以用一系列离散的取样值来表示，即离散随机序列。 2.2 离散信源的信息熵 信源：信息的来源，是产生消息或消息序列的源泉 离散信源：信源可能输出的消息数是有限的或可数的，每次只输出一个消息。 离散信源的数学模型： 式中， 2.2.1 自信息 问题的提出: 每个消息携带多少信息量？ 整个信源能输出多少信息量？ 信源发出的消息是随机的，具有不确定性，收信者收到消息后，才能消除不确定性获得信息。 如果某一消息发生的不确定性越大，一旦发生，获得的信息量就越大。 不确定性的消除是一个从“不知-知”的过程，在此过程中，收信者获得足够的信息量。 消息发生的不确定性和发生的概率有关，消息发生的概率越小，则消息中包含的信息量就越大。消息ai 发生所含有的信息量称为消息ai 的自信息量。 ????? 2.2 离散信源的信息熵 2.2.1 自信息信息量的度量方法 自信息量I(x) 是 P(x) 的单调递减函数 P(x) ?，I(x) ? ； P(x) ? ，I(x) ?； P(x) = 1时，I(x) ＝ 0； P(x) = 0时，I(x) ＝ ?； 两个独立事件的联合信息量应等于它们分别信息量之和，即统计独立信源的信息量等于分别信息量之和。