信息论基础和信号分析.pptVIP

信息论基础和信号分析;优选信息论基础和信号分析;§1信息论的出现;信息及其度量;信息量的计算;不难看出，若I与p(x)间的关系式为：

??????I=loga1/p(x)=-logap(x)???就可满足上述要求。

信息量的单位的确定取决于上式中对数底a的确定：;当消息是由几个符号组成的离散信源时，整个消息信息量的计算公式为：;例题;等概率出现的离散消息的度量：

若要传递的离散消息是在M个独立等概的消息中的一个，则只需采用一个M进制的波形来传送。

即传送M个消息之一者与传送M进制波形之一完全等价的。

规定：传送两个等概的二进制波形之一的信息量为1，单位为“比特”。即：

I=log21/(1/2)=log22=1(bit);只要在接收者看来每一传送波形是独立等概出现的,则一个波形所传递的信息量为:

???????????I=log21/P???(bit)???????

其中，P---每一波形出现的概率

因P=1/M，上式又可以写做：

??I=log2M?(bit)??????????????????????

?其中，M---传送的波形数;平均信息量的计算; 则x1、x2、…、xn所包含的信息量分别为-log2P(x1)、

-log2P(x2)、…、-log2P(xn)。

于是，每个符号所含信息量的统计平