通信原理第一章zjs2010.ppt

(1)概率论结论 事件的不确定程度可以用其出现的概率来描述，事件出现的可能性越小则概率越小，反之越大 (2)信息量与概率的关系 消息Xi中的信息量I(Xi)是消息发生的概率p(Xi)的函数： I(Xi) =[p(Xi)]； 消息出现的概率越小，所包含的信息量越大，反比关系： I(Xi) ∝ 1/ p(Xi) (3)信息量线性相加原理 由若干个独立事迹构成的消息有： I[p(X1) p(X2) …] = I[p(X1) ]+ I[p(X2) ]+… 3.信息量与概率的关系 4.信息量的定义 若一个消息Xi出现的概率为p(Xi)则这则消息所含的信息量I(Xi) 为： I(Xi)=loga[1/p(Xi)]=-logap(Xi) 5.信息量的单位 信息量的单位取决于对数底a： a=2时信息量的单位为比特(bit) 常用 a=e时信息量的单位为奈特(nat) a=10时信息量的单位为哈特莱(Hartley) 二 离散消息的信息量 1.离散消息 状态是可数的或离散的消息 连续消息 离散信源 连续信源 2.等概率离散消息的信息量