第2章 信源与信息熵-1.pptVIP

信源与信息熵 第二章 本章内容 信源的分类及基本的信源数学模型描述、自信息和信息熵的定义及性质、互信息的概念及性质、信源冗余度的描述等。 一、香农信息论的基本点 用随机变量或随机矢量来表示信源 用概率论和随机过程的理论来研究信息 常用的信息度量方法——统计度量。 （另有结构度量、语义度量、语用度量和模糊度量等方法。） 离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 离散有记忆信源所发出的各个符号的概率是有关联的。 发出单个符号的信源是指信源每次只发出一个符号代表一个消息。 发出符号序列的信源是指信源每次发出一组含二个以上符号的符号序列代表一个消息。 发出符号序列的有记忆信源是指用信源发出的一个符号序列的整体概率（即联合概率）反映有记忆信源的特征。 发出符号序列的马尔可夫信源是指某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号，这样的信源可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征。 三、信源的描述 单符号离散信源 定义：一个离散无记忆信源是由n个符号消息组成的集合：X={ x1，x2 · · · xn }， 这n个符号消息的概率分布为： 称为符号xi的先验概率，信源数学模型表示为： 称为概率空间，其中 例如：对二进制数字与数据信源 单个连续信源 pX(x)为随机变量X的概率密度函数 概率论知识复习 随机变量X和Y分别取值于集合 和 X发生xi和Y发生yj的概率为p(xi)和p(yj)，它们一定满足0 ?p(xi) ,p(yj ) ? 1以及 和 。如果考察X和Y同时发生xi和yj的概率，则二者构成联合随机变量XY，取值于集合{xiyj|i=1,2,…,n,j=1,2,…,m}，元素xiyj发生的概率称为联合概率，用p(xi yj)表示。 概率论知识复习 如X发生xi以后，Y又发生yj的条件概率为p(yj /xi)，代表xi已知的情况下，又出现yj的概率。当xi不同时，即使发生同样的yj ，其条件概率也不同，说明xi对yj的影响。而p(yj)则是对xi一无所知情况下， yj发生的概率，有时相应地称为p(yj)为yj的无条件概率。同理， yj 已知的条件下xi 的条件概率记为p(xi / yj)。相应地， p(xi)称为xi的无条件概率。 概率论知识复习 概率论知识复习 1）条件概率 2）联合概率 概率论知识复习 3)全概率： 4)Bayes公式: 2.2 离散信源熵和互信息 信源发出消息，经过信道，到达信宿，信宿收到消息，获得了信息，这个过程就称作通信。我们现在来研究通信的源头，也就是信源的特性。那么实际有用的信源应该具有什么特性呢？我们认为它应该具有不确定性（不肯定性）。信源至少应该包含两种不同的消息，例如两元信元（包含0、1），而信宿是知道信元发送（0、1）的，但是它就是不知道在具体的某一时刻，信源发送的是哪个消息。这是显然的，如果它知道，就不需要通信了！ 【例2.1 】某二元信源（含有两个不同消息的信源）发送1的概率0.99，0的概率0.01，信宿仅凭猜测就可以简单的认为信源发出的消息始终都是1，即使如此，猜错的概率仅为百分之一。这说明在这种情况下，信源基本上在发送1，信源的不确定性很小。 【例2.2 】某二元信源发送1和0的概率相等，均为0.5，这时信宿不依赖通信仅凭猜测的话，猜错的概率高达50%。这说明在这种情况下，猜测信源发送什么消息就困难了，因为信源发送什么消息相当不确定。 【例2.3 】如果信源具有更多的消息，例如发10个数字0,1…..9(例如采用4位十进制树的中文电报)，而且假定这是个消息是等概率分布的，均为0.1，这时信宿仅凭猜测的话，就更难猜了。因为信源发送什么消息更加不确定。 【例2.4 】现在讨论一种极端的情况，信源只发送一种消息，即永远只发送1或者只发送0，从这样的信源中我们就不能从中获取任何信息，也就是说信源的不确定性为0。 信源如果没有不确定性，那么就没有实用价值。不确定度和发送的消息数目和发送符号的概率有关。为了确切的描述信源，我们采用概率空间来描述信源。 离散信源：若一类信源输出的消息常常是以一个个符号的形式出现，例如文字、字母等，这些符号的取值是有限的或可数的，这样的信源称为离散信源。比如（0、1）二元信元，它的消息是以一定的概率来出现的，所以可以采用概率空间来描述。