第二章信息的统计度量.pptVIP

定义2.3.4联合离散符号集合XY上的每个元素对xiyj的联合自信息量的数学期望。是二元随机变量不确定性的度量。 2.3.4联合熵（共熵） 定义式为 2.3.5各种熵的性质 1、联合熵与信息熵、条件熵的关系 当X,Y相互独立时，有： 于是有： 理解：当随机变量相互独立时，其联合熵等于单个随机变量的熵之和，而条件熵等于无条件熵。 2、共熵与信息熵的关系 当X,Y相互独立时等式成立 3、条件熵与信息熵的关系 2.3.6加权熵 设有随机变量X，引入时间的重量后，其概率空间为 X P W = x1 x2 …… xn p(x1) p(x2) …… p(xn) W1 W2 …… Wn 定义2.3.5离散无记忆信源 [X P W]的加权熵定义为 加权熵的性质 性质1：非负性HW(X)=0 性质2：若权重W1=W2=…Wn=W 则 HW(X)=WH(X) 性质3：确定性 若pj=p(xj)=1,而pi=p(xi)=0(i=1,2,…,n；i不等于j), 则HW(X)=0 性质4：若 ,而 I,J为样本空间，并且 加权熵为零，即HW（X)=0 2.4平均互信息量 互信息量 是定量地研究信息流通问题的重要基础。但它只能定量地描述输入随机变量发出某个具体消息 ，输出变量出现某一个具体消息 时，流经信道的信息量；此外 还是 随 和 变化而变化的随机变量。 互信息量不能从整体上作为信道中信息流通的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。 定义互信息量 在联合概率空间 中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。 * * Log(xy)=logx+logy Log(x/y)=logx-logy 中学数学知识 2.1 自信息和条件自信息量 2.1.1自信息量 定义2.1.1任意随机事件的字信息量的定义为该事件发生概率的对数的负值。 自信息量 I(xi) 的含义 当事件 xi发生以前，表示事件xi发生的不确定性； 当事件 xi发生以后，表示事件xi所提供的信息量； 对于单个消息随机变量U，出现某个消息，对应概率为 ，这时可获得的信息量为 ，则有： 注：I－－自信息 解释： 小概率事件，一当出现必然使人感到意外，因此产生的信息量就大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，一鸣惊人。 大概率事件，是预料之中的，即使发生，也没什么信息量，特别是当必然事件发生了，它不会给人以任何信息量。 自信息量的单位 自信息量的单位取决于对数的底； 底为2，单位为“比特（bit）”； 底为e，单位为“奈特（nat）”； 底为10，单位为“哈特（hat）”； 1 nat = 1.44bit , 1 hat = 3.32 bit； 自信息量I(ai)的性质 I(ai)是非负值； 当P(ai) =1时， I(ai)=0； 当P(ai) =0时， I(ai)= ∞ ； I(ai)是P(ai) 的单调递减函数 例：从26个英文字母中，随即选取一个字母，则该事件的自信息量为 I = -log2 (1/26) = 4.7 比特 例：设m比特的二进制数中的每一个是等概率出现的(这样的数共有2m个)，则任何一个数出现的自信息为: I = -log2 (1/ 2m) = m 比特/符号 计算信息量主要要注意有关事件发生概率的计算 联合自信息量 定义2.1.2二维联合集XY上的元素（xy)的联合自信息量定义为 2.1.2条件自信息量 定义2.1.3联合集XY中，对事件xi和yj，事件xi 在事件yj给定的条件下的条件自信息量定义为 在特定条件下( 已定)随机事件发生所带来的信息量 条件自信息量满足非负和单调递减性。 例:甲在一个8*8的 方格盘上随意放入一个 棋子，在乙看来是不确定的。 (1)在乙看来，棋子落入某方格的不确定性为多少？ （2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定性为多少？ 联合自信息量和条件自信息量关系 当X和Y独立时， 2.2互信息量和条件互信息量 2.2.1互信息量 信源 信道 信宿 X Y 信源集合X的概率空间 X P = x1 x2 ….. p(x1) p(x2)….. Y P = y1 y2 ….. p(y1) p(y2)….. 信宿收到的符号集合Y的概率空间 定义2.2.1对两个离散随机事件集X和Y，事件yj的出现给出关于事件xi的信息量，定义为互信息量。 用 表示，即 互信息量等于自信息量减去条件自信