编码理论 第二版 教学课件 作者 田丽华 第1 5章 第2章.ppt

第2章　无失真信源编码原理 2.1　离散信源及其信息测度 2.1.1　信源概述 　　1．消息、信号和信息　　信源的输出被称做消息(message)，消息一般不能被直接传输，需要经过发送器的变换才能转换成适于信道传输的信号(signal)。消息和信号的这种区别对信息传输系统来讲是有一定意义的。 　　在一般情况下，消息和信号既是相互区别的，又是相互联系的。一方面，消息和信号的定义与含义不同。当信源的输出连同语义学上的意义一并加以理解时则称为消息。例如，播音员播送的一段新闻，记者拍摄的一段录像，歌手演唱的一首歌曲等，都应该说是消息。而当信源的输出只被看做是随时间变化的某一物理量f（t）或随时间、空间位置变化的某一物理量f（x，y，t）时，则称为信号。另一方面，信源的输出在收到、看到、听到之前都是随机的、不确定的，属于随机现象。因此，从信息论的观点来看，信源的输出无论是被看做消息，还是被看做信号，它均含有信息。 　　消息、信号和信息这三者都可以说是信源的输出，或者说它们是信源输出的三个方面。由于信息论关心的是信源输出的信息，因此可将信源称为信息源。通常，统计信息论是不研究消息、信号和信息三个方面在语义学上的意义的，它只考虑信源输出的后两个方面，即信号和信息。应该说，信号是信息的载体和具体表达形式，信息必须借助信号才能得以表现，信息不能离开信号而单独存在。所以，研究信源就是要研究信号和信息的关系，特别是信号如何才能有效地携带信息。 　　2．信源的分类　　按信号取值的集合和信号取值时刻的集合是离散的或连续的进行分类，信源可分为数字信源(DigitalSource)或离散信源(DiscreteSource)、模拟信源(AnalogSource)或波形信源(WaveformSource)、连续信源(ContinuousSource)。 　　信源输出的信息从数学角度来看就是一种随机过程。有些信源输出的是单个符号(或代码)的消息，它们符号集的取值是有限的或可数的，即可用一维离散型随机变量来描述这些信源的输出，这样的信源称为离散信源。在实际情况中，存在着很多这样的信源。例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。当我们掷一个六面质地均匀的骰子时，每次出现朝上一面的点数都是随机的，如把出现朝上一面的点数作为这个随机试验的结果，并把试验的结果看做信源的输出消息，无可置疑，这个随机试验可看做是一个信源。这个信源输出有限种离散数字，其组成的集合为A={1，2，3，4，5，6}，而且每一个数字代表一个完整的消息， 所以，这个信源是单符号离散信源。有的信源输出的虽是单个符号(或代码)的消息，但其可能出现的消息数是不可数的或无限的，即输出消息的符号集的取值是连续的，或取值范围是实数集(-∞，+∞)。例如，语音信号、热噪声信号等某时间的连续取值数据，以及遥控系统中有关电压、温度、压力等测得的连续数据。这些数据取值虽是连续的，但又是随机的，可用一维的连续型随机变量来描述这些消息，所以这种信源可称为连续信源。 　　若信源只输出一个消息(符号)，则用一维随机变量来描述。然而，很多实际信源输出的消息往往是由一系列符号序列所组成的。例如，将中文自然语言文字作为信源，这时中文信源的样本空间是所有汉字与标点符号的集合。由这些汉字和标点符号组成的序列即构成中文句子和文章。因此，从时间上看，中文信源输出的消息是时间上离散的符号序列，其中每个符号的出现是不确定的、随机的，由此构成了不同的中文消息。又例如，对离散化的平面灰度图像信源来说，从XY平面空间上来看每幅画面是一系列空间离散的灰度值符号，而空间每一点的符号（灰度值）又都是随机的，由此形成了不同的图像消息。 这类信源输出的消息是按一定概率选取的符号序列,所以可以把这种信源输出的消息看做时间上或空间上离散的一系列随机变量，即随机矢量。这样，信源的输出可用N维随机矢量来描述，这N维随机矢量有时也称为随机序列，其中，N可为有限正整数或可数的无限值。若在信源输出的随机序列X＝X1X2…XN中，每个随机变量Xi(i=1,2,…,N)都是取值离散的离散型随机变量，即每个随机变量Xi的可能取值是有限的或可数的,而且随机变量X的各维概率分布都与时间起点无关，也就是在任意两个不同时刻，随机变量的各维概率分布都相同，这样的信源称为离散平稳信源。前面所述的中文自然语言文字与离散化平面灰度图像都是这种离散型平稳信源。 若信源输出的消息可用N维随机序列X＝X1X2…XN来描述，其中每个随机分量Xi(i=1,2,…,N)都是取值为连续的连续型随机变量(即Xi的可能取值是不可数或无限的)，并且满足随机变量X的各维概率密度函数与时间起点无关，也就是在任意两个不同时刻随机变量X的各维概率密度函数都相同，这样的信