第2章 离信息的度量.pptVIP

第2章 信息的统计度量 §2.1 自信息量和条件自信息量 本节包括以下内容： 自信息 联合自信息 条件自信息 §2.1 自信息量 关于对数底的选取： 以2为底：单位为比特（bit，为binary　digit的缩写），工程上常用； 以3为底：单位为Tit； 以e为底：单位为奈特（Nat，为Natural Unit的缩写），理论推导时常用； 以10为底：单位为Dit或哈特。 单位之间的换算关系为： 1奈特 = logee = log2e比特 = 1.443比特 1 Dit =log1010 =log210比特 = 1/log102比特 = 3.32比特 自信息为随机变量 自信息含义包含两个方面 i)自信息表示事件发生前，事件发生的不确定性。 ii) 自信息表示事件发生后，事件所包含的信息量，是提供给信宿的信息量，也是解除这种不确定性所需要的信息量。 联合自信息量 联合事件集合XY中的事件xi,yj的自信息定义为： 其中，p(xy)要满足非负和归一化条件。实际上如果把联合事件xy看成一个单一事件，那么联合自信息的含义与自信息的含义相同。 例2.1.1 甲袋中有n个不同阻值的电阻，从中随机取出一个，猜测所取得的是何种阻值的困难程度是多少？ 解 相当求事件的不确定性，因事件等概，故 p(ai)=1/n ，I(ai)=