第专题聊城大学.pptVIP

1.信源分类 (1)单消息（符号）信源： 离散信源 连续变量信源 (2)平稳信源 (3)无/有记忆信源 (4)马尔可夫信源 (5)随机波形信源 2.分类信源特性 (1)单消息（符号）信源 最简单、最基本的信源，是组成实际信源的基本单元。 当信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定。所以，概率空间能表征这离散信源的统计特性，因此有时也把这个概率空间称为信源空间。 离散信源 信源可能输出的消息数是有限的或可数的，而且每次只输出其中一个消息。 在实际情况中，存在着很多这样的信源。例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。 一维离散型随机变量X来描述这些信源的输出。它的数学模型就是离散型的概率空间： 连续变量信源 有的信源虽输出是单个符号(代码)的消息，但其可能出现的消息数是不可数的无限值，即输出消息的符号集A的取值是连续的，或取值是实数集(-∞，∞)。 可用一维的连续型随机变量X来描述这些消息。这种信源称为连续信源，其数学模型是连续型的概率空间： （2）平稳信源 很多实际信源输出的消息往往是由一系列符号序列所组成的。 可以把这种信源输出的消息看做时间上或空间上离散的一系列随机变量，即为随机矢量。 信源的输出可用N维随机矢量X=(X１，X２…XN)来描述，其中N可为有限正整数或可数的无限值。这N维随机矢量X有时也称为随机序列。 一般来说，信源输出的随机序列的统计特性比较复杂，分析起来也比较困难。 为了便于分析，我们假设信源输出的是平稳的随机序列，也就是序列的统计性质与时间的推移无关。 离散平稳信源 若信源输出的随机序列X=(Ｘ1,Ｘ2,…,ＸN)中，每个随机变量 Xi (i=1,2,…，N)都是取值离散的离散型随机变量，即Xi的可能取值是有限的或可数的。 而且随机矢量X的各维概率分布都与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率分布都相同。这样的信源称为离散平稳信源。 如中文自然语言文字，离散化平面灰度图像。 连续平稳信源 若信源输出的消息可用N维随机矢量X=(Ｘ1,Ｘ2,…,ＸN)来描述，其中每个随机变量 Xi (i=1,2,…，N)都是取值连续的连续型随机变量，即Xi的可能取值是不可数的无限值。 并且满足随机矢量X的各维概率分布都与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率密度函数都相同。这样的信源称为连续平稳信源。 如语音信号，热噪声信号。 （3）无/有记忆信源 在某些简单的离散平稳信源情况下，信源先后发出的一个个符号彼此是统计独立的。 信源输出的随机矢量X=(X1X2…XＮ)中,各随机变量Xi (i=1,2,…N)之间是无依赖的、统计独立的, P(X)=P1(Ｘ1)P2(Ｘ2)…PN(ＸN)离散无记忆信源。  在不同时刻发出的符号之间是无依赖的，彼此统计独立的。 离散无记忆信源X的N次扩展信源 N次扩展信源是由离散无记忆信源输出N长的随机序列构成的信源。 离散无记忆信源的N次扩展信源的数学模型是X信源空间的N重空间。 有记忆信源 一般情况下，信源在不同时刻发出的符号之间是相互依赖的。也就是信源输出的平稳随机序列X中，各随机变量Xi之间是有依赖的。这种信源称为有记忆信源。 我们需在N维随机矢量的联合概率分布中，引入条件概率分布来说明它们之间的关联。 例如，汉字组成的中文序列中，前后文字的出现是有依赖的，不能认为是彼此不相关的。 （4）马尔可夫信源 信源发出的符号往往只与前若干个符号的依赖关系强，而与更前面的符号依赖关系弱。为此，可以限制随机序列的记忆长度。 当记忆长度为m+1时，称这种有记忆信源为m阶马尔可夫信源。也就是信源每次发出的符号只与前m个符号有关，与更前面的符号无关。 时齐马尔可夫信源 设马尔可夫信源各时刻随机变量Ｘｋ的取值为xk，xk∈Xk，k=1,2,…，i-1,i,i+1,…N，则描述随机序列中各随机变量之间依赖关系的条件概率为 P(xi|…xi+2xi+1xi-1xi-2xi-3…xi-m…x1)=P(xi|…xi-1xi-2x-3…xi-m) （i=1,2,…N） 如果上述条件概率与时间起点i无关，即信源输出的符号序列可看成为时齐马尔可夫链，则此信源称为时齐马尔可信源。 （5）随机波形信源 实际信源输出的消息常常是时间和取值都是连续的。 在某一固定时间t０，它们的可能取值又是连续的和随机的。对于这种信源输出的消息，可用随机过程来描述。称这类信源为随机波形信源。 语音信号、热噪声信号、电视图像信号等。 分析一般随机波形信源比较复杂和困难。 离散序列信源总结 概率复习 试验前： （1）信息量的定义 在信息传输的一般情况下，收信者所获得的信息量应等于信息传输前后不确定性的减少的量。因此，