第2章节信息统计度量.pptVIP

第二章 信息的统计度量;;Log(xy)=logx+logy Log(x/y)=logx-logy;自信息量 I(xi) 的含义 当事件 xi发生以前，表示事件xi发生的不确定性； 当事件 xi发生以后，表示事件xi所提供的信息量；;对于单个消息随机变量U，出现某个消息，对应概率为 ，这时可获得的信息量为 ，则有： ;自信息量的单位 自信息量的单位取决于对数的底； 底为2，单位为“比特（bit）”； 底为e，单位为“奈特（nat）”； 底为10，单位为“哈特（hat）”； 1 nat = 1.44bit , 1 hat = 3.32 bit；;自信息量I(ai)的性质 I(ai)是非负值； 当P(ai) =1时， I(ai)=0； 当P(ai) =0时， I(ai)= ∞ ； I(ai)是P(ai) 的单调递减函数;例：从26个英文字母中，随即选取一个字母，则该事件的自信息量为 I = -log2 (1/26) = 4.7 比特 例：设m比特的二进制数中的每一个是等概率出现的(这样的数共有2m个)，则任何一个数出现的自信息为: I = -log2 (1/ 2m) = m 比特/符号;联合自信息量;2.1.2条件自信息量;例:甲在一个8*8的 方格盘上随意放入一个 棋子，在乙看来是不确定的。 (1)在乙看来，棋子落入某方格的不确定性为多少？ （2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定性为多少？;联合自信息量和条件自信息量关系;2.2互信息量和条件互信息量;Y P;互信息量等于自信息量减去条件自信息量。;3、互信息量可为正值或负值;自信息、条件自信息和互信息;2.2.3 条件互信息量;或将上式进一步表示为;;熵的引入;2.3.1平均自信息量（熵）;由于这个表达式和统计物理学中热熵的表达式相似，且在概念上也有相似之处，因此借用“熵”这个词，把H(X)称为信息“熵”；;熵的计算;熵是从整个集合的统计特性来考虑的，它是从平均意义上来表征集合的总体特征的。 熵表示事件集合中事件发生后，每个事件提供的平均信息量； 熵表示事件发生前，集合的平均不确定性； 例：有2个集合，其概率分布分别为： 分别计算其熵，则： H(X)=0.08 bit /符号, H(Y)=1bit / 符号;2.3.2熵函数的数学特性;;6、确定性： 即H(1,0)=H(1,0,0)=H(1,0,0…,0)=0，即当某一事件为确定事件时，整个事件集合的熵为0；;条件熵;上述熵值再对集合Y中的元素做统计平???，得条件熵： ;定义2.3.3联合集XY上，条件自信息量I(y|x)的概率加权平均值定义为条件熵。在已知随机变量Y的条件下，随机变量X的条件熵定义为：;定义2.3.4联合离散符号集合XY上的每个元素对xiyj的联合自信息量的数学期望。是二元随机变量不确定性的度量。;2.3.5各种熵的性质;于是有：;3、条件熵与信息熵的关系;加权熵的性质;2.4平均互信息量;xi;当xi,yj相互独立时;2.4.2平均条件互信息量;定义2.4.2互信息量I(X;yj)在整个集Y上的概率加权平均值。;;4、极值性：; 名称;