第二部分：信源及信源熵课程.ppt

上节课内容回顾 信息、信息科学与信息论 信息、信息技术、信息科学、信息理论 信息论研究的对象、目的和内容 信息论发展简史与现状 信息论的形成与发展 信息论方法的应用及其取得的成果 第二章 信源熵 胡君红 jhhu@phy.ccnu.edu.cn 信源熵 信源的描述与分类（增加部分） 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理 信源特性与分类 信源的描述与分类 单消息（符号）信源： 离散信源 连续变量信源 平稳信源 无/有记忆信源 马尔可夫信源 随机波形信源 实际信源 单消息（符号）信源 单消息（符号）信源 是最简单、最基本的信源，是组成实际信源的基本单元。用信源取值随机变量的范围U和对应概率分布P(u) 组成的二元序对[U，P(u)]来表示。 当信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定。所以，概率空间能表征这离散信源的统计特性，有时也称概率空间为信源空间。 单消息（符号）信源——离散信源 信源可能输出的消息数是有限的或可数的，且每次只输出其中一个消息。用离散型随机变量X来描述这个信源输出的消息。随机变量X的样本空间就是符号集A；而X的概率分布就是各消息出现的先验概率，信源的概率空间必定是一个完备集。 在实际情况中，存在着很多这样的信源。例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。可用一维离散型随机变量X来描述这些信源的输出。它的数学模型就是离散型的概率空间： 单消息（符号）信源——离散信源 对离散信源 例：对于二进制数据、数字信源：U={0，1}，则有 单消息（符号）信源——连续变量信源 信源输出单个符号(代码)的消息，但其可能出现的消息数是不可数的无限值，即输出消息的符号集A的取值是连续的，或取值是实数集(-∞，∞)。例如，语音信号、热噪声信号某时间的连续取值数据，遥控系统中有关电压、温度、压力等测得的连续数据。用一维的连续型随机变量X来描述这些消息。这种信源称为连续信源，其数学模型是连续型的概率空间： 单消息（符号）信源——连续变量信源 平稳信源 信源输出的消息由一系列符号序列组成。该信源输出的消息可看做时间上或空间上离散的一系列随机变量，即随机矢量。用N维随机矢量X=(X１，X２，… ，XN)来描述，其中N可为有限正整数或可数的无限值。 N维随机矢量X也称为随机序列。 为了便于分析，假设信源输出的是平稳的随机序列，即序列的统计性质与时间的推移无关。很多实际信源也满足这个假设。 若信源输出的随机序列X=(X１，X２，… ，XN)中，每个随机变量Xi (i=1,2,…， N)都是离散型随机变量，而且随机矢量X的各维概率分布都与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率分布都相同。这样的信源称为离散平稳信源。如中文自然语言文字，离散化平面灰度图像都是这种离散型平稳信源。 无记忆信源 在某些简单的离散平稳信源情况下，信源先后发出的一个个符号彼此是统计独立的。也就是说信源输出的随机矢量X=(X１X２…XＮ）中，各随机变量Xi (i=1,2,…N)之间是无依赖的、统计独立的，则N维随机矢量的联合概率分布满足 P(X)=P１（Ｘ１）P２（Ｘ２）…PＮ（ＸＮ） 称由上述信源空间［X，P(x)］描述的信源X为离散无记忆信源。该信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。 离散无记忆信源X的N次扩展信源 无记忆信源X所输出的随机矢量X所描述的信源称为离散无记忆信源X的N次扩展信源。 N次扩展信源是由离散无记忆信源输出N长的随机序列构成的信源。 离散无记忆信源的N次扩展信源的数学模型是信源空间X的N重空间。 有记忆信源 一般情况下，信源在不同时刻发出的符号之间是相互依赖的。即信源输出的平稳随机序列X中，各随机变量Xi之间是有依赖的。如：在汉字组成的中文序列中，只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以，在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。这种信源称为有记忆信源。 在N维随机矢量的联合概率分布中，引入条件概率分布来说明它们之间的关联。 马尔可夫信源 表述有记忆信源要比表述无记忆信源困难得多。实际上信源发出的符号往往只与前若干个符号的依赖关系强，而与更前面的符号依赖关系弱。为此，可以限制随机序列的记忆长度。 当记忆长度为m+1时，称这种有记忆信源为m阶马尔可夫信源。也就是信源每次发出的符号只与前m个符号有关，与更前面的符号无关。 时齐马尔可夫信源 设马尔可夫信源各时刻随机变量Ｘｋ的取值为xk，xk∈Xk，k=1,2,…，i-1, i, i+1,…N，则描述随