离散信源的信息熵.pptx

离散信源的信息熵;2.2.1自信息

2.2.2信息熵;课程回顾;一维离散信源;信息量与不确定性

信源中某一消息发生的不确定性越大，一旦它发生，并为收信者收到后，消除的不确定性就越大，获得的信息量也就越大。

由于种种原因（例如噪声太大），收信者接收到受干扰的消息后，对某消息发生的不确定性依然存在或者一点也未消除时，则收信者获得较少的信息或者说一点也没有获得信息。;信息量与不确定性

信息量的直观定义：

收到某消息获得的信息量＝不确定性减少的量

＝(收到此消息前关于某事件发生的不确定性)

－(收到此消息后关于某事件发生的不确定性)

在无噪声时，通过信道的传输，可以完全不失真地收到所发的消息，收到此消息后关于某事件发生的不确定性完全消除，此项为零。因此：

收到某消息获得的信息量

＝收到此消息前关于某事件发生的不确定性

＝信源输出的某消息中所含有的信息量

;

信息量、不确定性与发生概率

事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。

事件发生的概率越大，我们猜测这件事发生的可能性就越大，不确定性就越小。

概率等于1的必然事件，就不存在不确定性。

某事件发生所含有的信息量应该是该事件发生的先验概率的函数f[p(xi)]。;信息量与发生概率

函数f[p(xi)]应满足以下4个条件：

f[p(xi)]应是p(xi)的单调递减函数

当p(x1)p(x2)时，f[p(x1)]f[p(x2)]

当p(xi)=1时，f[p(xi)]=0

当p(xi)=0时，f[p(xi)]=∞

两个独立事件的联合信息量应等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。;

信息量与发生概率

根据上述条件可以从数学上证明这种函数形式是对数形式。;自信息

用概率测度定义信息量：设离散信源X，其概率空间为：

如果知道事件xi已发生，则该事件所含有的信息量称为自信息，定义为：

X，Y，Z代表随机变量，指的是信源整体；

xi,yj,zk代表随机事件的某一结果或信源的某个元素。不可混淆!

;自信息的物理意义

当事件发生以前，???示事件发生的不确定性；

当事件发生以后，表示事件所含有(提供)的信息量；

自信息单位：;自信息;概率知识回顾;概率知识回顾;

1）自信息含义

当事件xi发生以前：表示事件xi发生的不确定性。

当事件xi发生以后：表示事件xi所含有（或所提供）的信息量。在无噪信道中，事件xi发生后，能正确无误地传输到收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。这是因为消除了I(xi)大小的不确定性，才获得这么大小的信息量。;

2）联合自信息

信源模型为：

其中:0≤p(xiyj)≤1(i=1,2,…,n;j=1,2,…,m)，

则联合自信息为：;

2）联合自信息

当X和Y相互独立时，p(xiyj)=p(xi)p(yj)

两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。;

3）条件自信息

设yj条件下，发生xi的条件概率为p(xi/yj)，那么它的条件自信息量I(xi/yj)定义为：

表示在特定条件下（yj已定）随机事件xi所带来的信息量

同理，xi已知时发生yj的条件自信息量为：;

3）条件自信息

自信息量、条件自信息量和联合自信息量之间的关系;信息熵—平均信息量

信息熵的三种物理含义

信息熵与平均获得的信息量

;（1）信息熵—平均自信息量

自信息是一个随机变量：自信息是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。

平均自信息量—信息熵：自信息的数学期望。也称为信源的信息熵／信源熵／香农熵／无条件熵／熵函数／熵。

;(1)信息熵

①信息熵—平均信息量

信息熵的单位：取决于对数选取的底。一般选用以2为底，其单位为比特/符号。

信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。;(1)信息熵

信息熵的三种物理含义：信息熵是从平均意义上来表征信源的总体特性的一个量。因此信息熵有以下三种物理含义。

信息熵H(X)是表示信源输出后每个消息（符号）所提供的平均信息量；

信息熵H(X)是表示信源输出前，信源的平均不确定性；

用信息熵