第二章信源与信息熵（第二讲）.docVIP

第二章 信源与信息熵（第二讲） （2课时） 主要内容：（1）信源的描述（2）信源的分类 重点：信源的分类，马尔可夫信源。 难点：信源的描述，马尔可夫信源。 作业：2.1, 2.2, 2.3 说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。 2．1 信源的描述与分类 在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。 信源：产生随机变量、随机序列和随机过程的源。 信源的基本特性：具有随机不确定性。 信源的分类 离散信源：文字、数据、电报——随机序列 连续信源：话音、图像——随机过程 离散信源：输出在时间和幅度上都是离散分布的消息。 消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。 发出单个符号的无记忆信源 离散无记忆信源： 发出符号序列的无记忆信源 离散信源 离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 完备性 联合概率 贝叶斯公式 2.1.1 无记忆信源： 例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。可以用一个离散型随机变量X来描述这个信源输出的消息。 并满足 在实际情况中，存在着很多这样的信源、例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。这些信源输出的都是单个符号（或代码）的消息，它们符号集的取值是有限的或可数的。 我们可用一维离散型随机变量X来描述这些信息的输出。这样的信息称为离散信源。 其数学模型就是离散型的概率空间， 0≤p(xi)≤1 p(xi)：信源输出符号xi（i =1，2，…，n）的先验概率。 上式表示信源可能的消息（符号）数是有限的，只有n个x1 ,x2 ,… ，xn，而且每次必定选取其中一个消息输出，满足完备集条件。这是最基本的离散信源。连续信源：输出在时间和幅度上都是连续分布的消息。 消息数是无限的或不可数的，且每次只输出其中一个消息。 我们可用一维的连续型随机变量X来描述这些消息。其数学模型是连续型的概率空间 ， 并满足 p(x)是随机变量X的概率密度函数。很多实际信源输出的消息是由一系列符号组成，这种用每次发出1组含2个以上符号的符号序列来代表一个消息的信源叫做发出符号序列的信源。需要用随机序列(随机矢量) X =（X1X2…Xl…XL）来描述信源输出的消息，用联合概率分布来表示信源特件。 例如扔骰子： 符号序列信源是L为3的情况，此时信源X =(X1X2X3)，Xl取={0,1} 离散随机序列X的样值x可表示为 x = (x1…x1…xL) x ∈ nL= n×n×…×n（共L个），即每个随机变量取值有n种，那么L个随机变量组成的随机序列，其样值共有nL种可能取值。 有时将这种由信源X输出的L长随机序列X所描述的信源叫做离散无记忆信源X的L次扩展信源。 其对应的概率为： 当信源无记忆时： p(x) = p(x1x2…xL) = p(x1) p(x2)…p(xL) = 扩展信源也满足完备性 2.1.2有记忆信源 一般情况下,信源在不同时刻发出的符号之间是相互依赖的，也就是信源输出的平稳随机序列X中，各随机变量Xl之间是有依赖的。如在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。源 表述的复杂度将随着序列长度的增加而增加。 实际上信源发出的符号往往只与前若干个符号有较强的依赖关系，随着长度的增加依赖关系越来越弱，因此可以根据信源的特性和处理时的需要限制记忆的长度，使分析和处理简化。 在实际应用中还有一些信源输出的消息不仅在幅度上是连续的，在时间上或频率上也是连续的，即所谓的模拟信号。如话音信号、电视图像信号等都是时间连续、幅度连续的模拟信号。某一时刻的取值是随机的通常用随机过程{x(t)}来描述。为了与时间离散的连续信源相区别，有时也叫做随机波形信源。这种信源处理起来就更复杂了。 就统计特性而言，随机过程可分为平稳随机过程和非平稳随机过程两大类，最常见的平稳随机过程为遍历过程。 一般认为，通信系统中的信号都是平稳遍历的随机过程。 虽然受衰落现象干扰的无线电信号属于非平稳随机过程，但在正常通信条件下都近似地当作平稳随机过程来处理。因此一般用平稳遍历的随机过程来描述随机波形信源的输出。 对于确知的模拟信号可进行采样、量化，使其变换成时间和幅度都是离散的离散信号。 离散信源的统计特性： ①离散消息是从有限个符号组成的符号集中选择排列组成的随机序列（组成离