西安邮电大学通信与信息工程学院信息论与编码课件第二章 信源与信息熵.pptVIP

2.1 信源的数学模型及分类 信源分类 连续信源 信源 离散无记忆信源 离散信源 离散有记忆信源 离散无记忆信源：包括发出单个符号的无记忆信源和发出符号序列的无记忆信源两种。 离散有记忆信源：包括发出符号序列的有记忆信源和发出符号序列的马尔可夫信源两种。 更一般情况：随机波形信源 实际信源输出的消息常常是时间和取值都是连续的。这类信源称为随机波形信源。 随机波形信源在某一固定时间 t0 的可能取值是连续和随机的。对于这种信源输出的消息，可用随机过程来描述。 例：语音信号X(t)、热噪声信号n(t)、电视图像信号X(r(t),g(t),b(t))等时间连续函数。 2.2 离散信源熵和互信息 2.2.1 信息量 在一切有意义的通信中，虽然消息的传递意味着信息的传递，但对于接收者来说，某些消息比另外一些消息却含有更多的信息。消息中的信息量与消息发生的概率紧密相关，消息出现的概率越小，则消息中包含的信息量就越大。 为了计算信息量，消息中所含信息量I与消息出现的概率p(x)间的关系式应当反映如下规律： ① 消息中所含信息量I是出现该消息的概率p(x)的函数，即 ② 消息出现的概率越小，它所含的信息量越大；消息出现的概率越大，它所含的信息量越小；且当p(x)?=?1时，I?=?0。 ③ 若干个互相独立的事件构成的消息，其所含信息量等于各独立事件的信息量之和，即 不难看出，若I与p(x)之间的关系式为： 就可满足上述要求。 一点说明 计算自信息量时要注意有关事件发生概率的计算； 自信息量的单位取决于对数的底； 底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”； 根据换底公式得： 上式中的I称为随机事件的自信息量。它的单位与所采用的对数的底有关。若取a?=?2，则自信息量的单位为bit；若取a?=?e，则其单位为nat；若取a?=?10，则其单位为det。 对于一个以等概率出现的二进制码元（0，1），它所包含的信息量为： 若有一个m位的二进制数，其自信息量为： 即需要m bit信息来指明这样的二进制数。 若有两个消息xi，yj同时出现，则其自信息量定义为： p(xiyj)为联合概率。 若xi与yj相互独立，即 ，则有 若xi与yj的出现不是相互独立的，而是有联系的，此时，要用条件概率来表示，即在事件yj出现的条件下，事件xi发生的条件概率，其条件自信息量定义为： 例题2-1 英文字母中“a”出现的概率为0.063，“c”出现的概率为0.023，“e”出 现的概率为0.105，分别计算它们的自信息量。 解： 由自信息量的定义式，有 例题2-2 将二信息分别编码为A和B进行传送，在接收端，A被误收作B的概率为0.02；而B被误收作A的概率为0.01，A与B传送的频繁程度为2:1。若接收端收到的是A，计算原发信息是A的条件自信息量。 解：设U0表示发送A，U1表示发送B；V0表示接收A，V1表示接收B。 由题意知： 2.2.2 离散信源熵 假设离散信息源是一个由n个符号组成的集合，称为符号集。符号集中每一个符号xi在消息中是按一定的概率p(xi)独立出现，其概率空间为: 且有： 。则 所包含的信息量分别为： 于是，每个符号所含信息量的统计平均值，即平均信息量为 由于H同热力学中的熵形式相似，故通常又称它为信息源的熵，简称信源熵，其单位为bit/符号。 前面定义的自信息量I(xi)是表征信源中各个符号的不确定性。由于信源中各个符号的概率分布（先验概率）不同，因而各个符号的自信息量就不相同，所以，自信息量不能作为信源总体的信息量。而平均信息量H(X)或信源熵H(X)是从平均意义上来表征信源的总体特征，因此可以表征信源的平均不确定性。 定义信源的平均不确定性H(X)为信源中各个符号不确定性的数学期望，即 ，称