离信息度量.pptVIP

第2章 信息的统计度量 §2.1 自信息量和条件自信息量 本节包括以下内容： 自信息 联合自信息 条件自信息 §2.1 自信息量 关于对数底的选取： 以2为底：单位为比特（bit，为binary　digit的缩写），工程上常用； 以3为底：单位为Tit； 以e为底：单位为奈特（Nat，为Natural Unit的缩写），理论推导时常用； 以10为底：单位为Dit或哈特。 单位之间的换算关系为： 1奈特 = logee = log2e比特 = 1.443比特 1 Dit =log1010 =log210比特 = 1/log102比特 = 3.32比特 自信息为随机变量 自信息含义包含两个方面 i)自信息表示事件发生前，事件发生的不确定性。 ii) 自信息表示事件发生后，事件所包含的信息量，是提供给信宿的信息量，也是解除这种不确定性所需要的信息量。 联合自信息量 联合事件集合XY中的事件xi,yj的自信息定义为： 其中，p(xy)要满足非负和归一化条件。实际上如果把联合事件xy看成一个单一事件，那么联合自信息的含义与自信息的含义相同。 例2.1.1 甲袋中有n个不同阻值的电阻，从中随机取出一个，猜测所取得的是何种阻值的困难程度是多少？ 解 相当求事件的不确定性，因事件等概，故 p(ai)=1/n ，I(ai)=-log pi=log n。 续　　甲袋中有n（n+1）/2个不同阻值的电阻，其中1Ω的1个，2Ω的2个，……，nΩ的n个，从中随机取出一个，求“取出阻值为i（0 ≤ i≤ n）的电阻”所获得的信息量。 解“取出阻值为i的电阻”的概率为i/[n（n+1）/2]， 故所求信息量为： I(ai)=-log pi=log [n（n+1）/（2i）] 2.1.2 条件自信息量 事件xi在事件yj给定条件下的自信息定义为： 条件下自信息与自信息类似，只不过是概率空间有变化。条件自信息也是随机变量。 条件自信息的含义： 1）在事件yj给定条件下，事件xi发生前的不确定性； 2）在事件yj给定条件下，事件xi发生后所得到的信息量。 例2.1.2 有8*8=64个方格，甲将一棋子放入方格中，让乙猜； 1）将方格按顺序编号，让乙猜顺序号的困难 程度为何？ 2）将方格按行和列编号，当甲告诉乙方格的 行号后，让乙猜列顺序号的困难程度为何？ 解 两种情况下的不确定性： 1）I(xy)=log 64=6 bit 2）I(x|y)=-log p(x|y)=-log(1/8)=3 bit §2.2 互信息量和条件互信息 量 本节包括以下内容 互信息量 互信息量的性质 条件互信息量 2.2.1 互信息 离散随机事件xi和yj 之间的互信息（x∈X ，y ∈Y）定义为： 简记为 通过计算可得 注： 1）互信息的单位与自信息单位相同； 2）x与y的互信息等于x的自信息减去在y条件 下x的自信息。 I(x；y)表示当 y发生后x不确定性的变化。这种变化，反映了由y发生所得到的关于x 的信息量。互信息是一种消除不确定性的度量。 3）应注意I(x；y)与 I(x|y)的区别。 2.2.2 互信息的性质 1）互易性：I (x；y) = I (y；x) 2）当事件x ，y 统计独立时，互信息为零，即 I (x；y) = 0； 3）互信息可正可负； 4）任何两事件之间的互信息不可能大于其中任一事 件的自信息。 证明：由定义明显看出性质1）成立，而且 当事件x，y 统计独立时，有p(x|y)= p(x)，所以性质2）成立； 因为，当p(x|y) p(x)时，I(x；y) 0； 当p(x|y) p(x)时，I(x；y) 0，所以性质3）成立； 考虑