信息的度量材料.ppt

图中两圆外轮廓表示联合熵H(XY)，圆(1)表示H(X)，圆(2)表示H(Y)，则 H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) H(X)≥H(X/Y)，H(Y)≥H(Y/X) I(X;Y)=H(X)－H(X/Y)=H(Y)-H(Y/X) =H(X)+H(Y)-H(XY) H(XY)≤H(X)+H(Y) 如果X与Y互相独立，则 I(X;Y)=0 H(XY)=H(X)+H(Y) H(X)=H(X/Y)，H(Y)=H(Y/X) 2.3.3 数据处理定理 为了证明数据处理定理，引入三元随机变量X,Y,Z的平均条件互信息和平均联合互信息的概念。 定义2.7 平均条件互信息 它表示随机变量Z给定后，从随机变量Y所得到得关于随机变量X的信息量。 定义2.8 平均联合互信息 它表示从二维随机变量YZ所得到得关于随机变量X的信息量。 2.3.3 数据处理定理 定理2.3 （数据处理定理） 如果随机变量X,Y,Z构成一个马尔可夫链，则有以下关系成立： 等号成立的条件是对于任意的X,Y,Z，有 数据处理定理再一次说明，在任何信息传输系统中，最后获得的信息至多是信源所提供的信息，如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，如不触及丢失信息的输入端，就不能再恢复已丢失的信息，这就是信息不增性原理，它与热熵不减原理正好对应，反映了信息的物理意义。 作业： 2.1,2.6.2.14,2.23, 第2章 信息的度量 重庆交通大学信息科学与工程学院 通信工程系 黄大荣 第2章 信息的度量 2.1 自信息和互信息 2.2 平均自信息 2.3 平均互信息 2.1 自信息和互信息 几个重要概念 自信息：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。比如抛掷一枚硬币的结果是正面这个消息所包含的信息量。 互信息：一个事件所给出关于另一个事件的信息量，比如今天下雨所给出关于明天下雨的信息量。 平均自信息（信息熵）：事件集（用随机变量表示）所包含的平均信息量，它表示信源的平均不确定性。比如抛掷一枚硬币的试验所包含的信息量。 平均互信息：一个事件集所给出关于另一个事件集的平均信息量，比如今天的天气所给出关于明天的天气的信息量。 2.1.1 自信息 随机事件的自信息量I(xi)是该事件发生概率p(xi)的函数，并且应该满足以下公理化条件： I(xi),是 p(xi)的严格递减函数。当p(x1)p(x2)时， I(x1)I(x2) ，概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。 极限情况下当p(xi) =0时， I(xi) →∞ ；当p(xi) =1时， I(xi) =0。 另外，从直观概念上讲，由两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和。 可以证明，满足以上公理化条件的函数形式是对数形式。 2.1.1 自信息 定义2.1 随机事件的自信息量定义为该事件发生概率的对数的负值。设事件xi的概率为p(xi)，则它的自信息定义为 从图2.1种可以看到上述信息量的定义正是满足上述公理性条件的函数形式。I(xi)代表两种含义：当事件发生以前， 等于事件发生的不确定性的大小；当事件发生以后，表示事件所含有或所能提供的信息量。 图2.1 自信息量 2.1.1 自信息 自信息量的单位 常取对数的底为2，信息量的单位为比特（bit，binary unit）。当p(xi)=1/2时，I(xi)=1比特，即概率等于1/2的事件具有1比特的自信息量。 若取自然对数（对数以e为底），自信息量的单位为奈特（nat，natural unit）。 1奈特=log2e比特=1.443比特 工程上用以10为底较方便。若以10为对数底，则自信息量的单位为哈特莱（Hartley）。1哈特莱=log210比特=3.322比特 如果取以r为底的对数(r1)，则I(xi)=-logrp(xi)进制单位 1r进制单位= log2r比特 [例] 8个串联的灯泡x1，x2，…，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？最少需要多少次测量才能获知和确定哪个灯泡已损坏。 解：收到某消息获得的信息量(即收到某消息后获得关于某事件发生的信息量) ＝不确定性减少的量 ＝(收到此消息前关于某事件发生的不确定性) - (收到此消息后关于某事件发生的不确定性) 已知8个灯泡等概率损坏，所以先验概率P (x1)＝1/8 ，即 第二次测量获得的信息量 = I [P (x2)] - I [P (x3)]=1(bit)