现代通信原理(023).ppt

现代通信原理;2．7信息的度量;2．7．1消息的统计特性;假设离散信源为包含N种符号x1,x2,…,xN的集合，每个符号出现的概率分别为P(x1),P(x2),…,p(XN),那么可以用概率场来描述信源。;表2-1英文字母的出现概率;表2-2汉字电报中数字代码的出现概率;通常，只考虑前一个符号对后一个符号的影响，用转移概率矩阵来描述。;2.7.2离散信源的信息量;基于这一考虑，哈特首先提出采用消息出现概率的对数（以2为底）来作为离散消息的度量单位，称为信息量，用I（xi）表示：;例2-1

例2-2

以上是单一符号出现的信息量。对于由一串符号构成的消息，如果各符号的出现相互独立，整个消息的信息量I;当存在两个信源X和Y时，它们所出现的符号分别为xi和yj，则定义这两个信源的联合信息量为I（xiyj）;在数字通信系统中，信源发送的离散符号集合可以看成是X，信宿接收的离散符号集合可以看成是Y，通常X的概率场是已知的，称为先验概率，记为P（xi）。

当接收端每收到Y中的一个符号yj以后，接收者要重新估计发送端各符号xi的出现概率分布，这个概率分布称为条件概率或后验概率，用P（xi/yj）表示。;互信息量：后验概率与先验概率之比的对数。;1、若xi与yj之间统计独立，即出现yj与出现xi无关。P(xi/yj)=P(xi)，I(xi,yj)=0，互信息量为0。

2、若出现xi就一定要出现yj。P(xi/yj)=1，I(xi,yj)=I(xi)，互信息量等于信源信息量。

例2－4;2．7．3离散信源的平均信息量（熵）;一消息由0、1、2、3四种符号组成，各符号出现概率分别为3/8，1/4，1/4和1/8。消息总长57个符号，其中0出现23次，1出现14次，2出现13次，3出现7次。用上述二种方法求该消息的信息量。

;解法一：;如果消息中各符号出现统计相关，则式（2-7）不再适用，必须用条件概率来计算平均信息量，此时引入条件熵的概念：;例2-6某离散信源由A、B、C三种符号组成。相邻两符号出现统计相关，其转移概率矩阵;H（xj/xi）=-

=-P(A)[P(A/A)logp(A/A)+P(B/A)logP(B/A)+P(C/A)logp(C/A)

-P(B)[P(A/B)logp(A/B)+P(B/B)logP(B/B)+P(C/B)logp(C/B)

-P(C)[P(A/C)logp(A/C)+P(B/C)logP(B/C)+P(C/C)logp(C/C)

=0.872(bit/符号);通信中要寻求解决的问题;当离散信源中每个符号等概出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。此时最大熵;若二元离散信源的统计特性为;图2-1熵与概率的关系;

对于三元离散信源，当概率P1=P2=P3=1/3时信源最大熵H(X)max=1.585(bit),此结论可以推广到N元离散信源。

减小或消除符号间的关联，并使各符号的出现趋于等概，将使离散信源达到最大熵，从而以最少的符号传输最大的信息量。这就是离散信源编码的目的。

;对于两个离散信源X和Y的情况，X中xi和Y中yi同时出现的平均信息量称为联合熵或共熵，定义为;两个离散信源X和Y，X中出现xI的条件下Y中出现yi的平均信息量称为条件熵，定义为;互信息量的统计平均值称为平均互信息量，定义为;1、共熵与熵和条件熵的关系为

H（XY）=H（X）+H（Y/X）

H（XY）=H（Y）+H（X/Y）

2、平均互信息量与熵和条件熵的关系为

I（X，Y）=H（X）-H（X/Y）

I（X，Y）=H（Y）-H（Y/X）

3、平均互信息量与熵和共熵的关系为

I（X，Y）=H（X）+H（Y）-H（YX）

;2．7．4连续信源的信息度量;当各抽样点统计独立时每个点包含的平均信息量（熵）为：;=-p(x)dx{log[p(x)dx]}

=-p(x)logp(x)dx-logdxp(x)dx

=-p(x)logp(x)dx+log(1/dx);如前所述，离散消息源当所有符号等概输出时，其熵最大。

连续信息源的最大熵条件如何求得？最大熵是多少？

;取决于消息源输出上所受的限制。常见的限制有两种。

峰值受限：对于有线性要求的系统，为了避免线性失真，对信号的峰值幅度有限制。

均方值受限（功率受限）：无线性要求的系统。;1、对于均方值受限系统（功率