信息的量度.pptVIP

信息的量度 主讲：李敏 信息的量度 引例：假设甲、乙两个布袋中各装有大小质地完全一样的球100个。甲袋内红、白球各50个，乙袋内有红、白、蓝、黑四种球各25个。现随意从甲袋或乙袋中取出一球，并猜测取出的是什么颜色的球。 可见，从甲袋中摸出红球的可能性为1/2，不确定性为1/2,小于从乙中摸出红球的不确定性3/4;同理，从甲中摸出白球的不确定性为1/2，也小于从乙中摸出白球的不确定性3/4。故知不确定性的大小与可能发生的消息数目及各消息发生的概率有关。 信息的量度 2.1自信息量和条件自信息量 2.2互信息量和条件互信息量 2.3离散集的平均自信息量（熵） 2.4离散集的平均互信息量 2.1自信息量和条件自信息量 1、基本信源的数学模型（离散信源、连续信源） 离散信源 信源输出的是单个符号或代码的消息，信源符号集的取值是有限的，或可数的，可用一维离散型随机变量来描述。信源的数学模型就是离散型随机变量X的概率空间，表示为： 连续信源 信源输出的是单个符号或代码，但信源符号集的取值是连续的，可以用一维连续型随机变量来描述。相应的信源数学模型就是连续型随机变量的概率空间，表示为： 2、自信息量（也称为自信息） 自信息的定义： 自信息的含义： 收到某消息获得的信息量=不确定性减少的量 自信息和随机事件出现的概率之间的关系： 由自信息的表达式可见：一个随机事件出现的概率越大，不确定性越小，它所包含的自信息量越小，小概率事件所包含的不确定性大，其自信息量大。可见，确定事件包含的自信息量为0. 在二维联合集XY上的元素 的联合自信息量定义为： 3、条件自信息量 4、自信息量和条件自信息量的非负性： 例：居住某地区的女孩中有25%是大学生，在女大学生中有 75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设事件A为某地区女孩是大学生，设事件B为某地区女孩 身高1.6米以上。根据题意有： P(A)=0.25,P(B)=0.5,P(B/A)=0.75 而“身高1.6米以上的某女孩是大学生”是在B事件发生的条件下，A事件发生的概率为P(A/B). 根据 P(A/B)=P(AB)/P(B)=P(A)P(B/A)/P(B) =0.25*0.75/0.5=0.375 则得知“身高1.6米以上的某女孩是大学生”这消息，能获得的信息量为： I(A/B)=-logp(A/B)=log2(1/0.375) ≈1.415比特 2.2互信息量和条件互信息量 1、互信息量的定义 例：某地区的天气分布情况如表所示 如果有人告诉你：“今天不是晴天”，把这句话作为收到的信息 ，求收到 后, 与各种天气的互信息量。 解：把各种天气记作： 表示晴天， 表示阴天， 表示雨天， 表示雪天。 p(x1|y1)=p(x1y1)/p(y1) = 0/(1/2)=0, p(x2|y1)=p(x2y1)/p(y1)=p(x2)/p(y1)=(1/4)/(1/2) = 1/2 , p(x3|y1)=(1/8)/(1/2)= 1/4 , p(x4|y1) =(1/8)/(1/2)= 1/4 例2.2.1 详见教材P18. 3、条件互信息量 2.3离散集的平均自信息量（熵） 3、信息熵的物理含义 （1）信息熵H(X)表示了信源输出前，信源的 平均不确定性； （2）信息熵H(X)表示了信源输出后，每个消息或符号所提供的平均自信息量； （3）信息熵H(X）反映了随机变量X的随机性。 例：有一布袋内放100个球，其中80个红色，20个白色。随机摸出一个球，猜测是什么颜色，求平均摸取一次所获得的自信息量。 4、信息熵的基本性质 （6）上凸性：熵函数存在极大值 （7）扩展性：若信源符号集中增加了若干符号，当这些符号出现的概率很小时，信源的熵不变。 7、各种熵的性质 P30:例2.3.3 P32:例2.3.4 例2、从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含有多少信息量？平均每个回答中有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？ 2.4离散集的平均互信息量 通信系统的输出和输入存在一定的概率关系，因此输出可在一定程度上限定其输