第2章 离散信息的度量培训教材.pptVIP

第2章 信息的统计度量 ;关于对数底的选取： 以2为底：单位为比特（bit，为binary　digit的缩写），工程上常用； 以3为底：单位为Tit； 以e为底：单位为奈特（Nat，为Natural Unit的缩写），理论推导时常用； 以10为底：单位为Dit或哈特。 单位之间的换算关系为： 1奈特 = logee = log2e比特 = 1.443比特 1 Dit =log1010 =log210比特 = 1/log102比特 = 3.32比特 ;自信息为随机变量 自信息含义包含两个方面 i)自信息表示事件发生前，事件发生的不确定性。 ii) 自信息表示事件发生后，事件所包含的信息量，是提供给信宿的信息量，也是解除这种不确定性所需要的信息量。;联合自信息量;例2.1.1 甲袋中有n个不同阻值的电阻，从中随机取出一个，猜测所取得的是何种阻值的困难程度是多少？ 解 相当求事件的不确定性，因事件等概，故 p(ai)=1/n ，I(ai)=-log pi=log n。 续　　甲袋中有n（n+1）/2个不同阻值的电阻，其中1Ω的1个，2Ω的2个，……，nΩ的n个，从中随机取出一个，求“取出阻值为i（0 ≤ i≤ n）的电阻”所获得的信息量。 解“取出阻值为i的电阻”的概率为i/[n（n+1）/2]， 故所求信息量为： I(ai)=-