信息管理与信息系统.pptVIP

* * * * * I(0)=+inf, I(1)=0 Di/dp=p*-1/p^2=-1/p. D^2i/dp^2=1/p^2 * * * * * * 全部练习，其中找两个学生到黑板。然后讲评 * * * * * * * * * * * * * * * * * * * * * 湖北经济学院信息管理学院 * 概率与信息 I(p)=lb 1/p 所以概率越大，不确定性范围减少的越小，信息量越小 概率为1，I=0; 比如：明天要么下要么不下的废话 概率越小，不确定性范围减少的越大，信息量越大 概率?0+，信息量?+inf; 不下 P[1] 下（p[2]） * 湖北经济学院信息管理学院 * 练习 已知班级有学生40人。有人向我们询问以找个学生。我们需要ta提供信息。 对方如果告诉这是个男生 如果是女生 对方说这是个湖北的 对方说这是个其它地区的女生 对方给出学号 男 女 湖北 4 8 其它地区 12 16 Information Entropy * 湖北经济学院信息管理学院 * * 湖北经济学院信息管理学院 * 信息墒 对方如果告诉这是个男生，信息是 lb 1/（p(男）) 对方如果说是女生，信息是 Lb1/(p(女）） 对方如果告诉我们性别，信息是？ 男 女 40 60 * 湖北经济学院信息管理学院 * 信息墒 对方如果告诉这是个男生，信息是 lb 1/（p(男）) 对方如果说是女生，信息是 Lb1/(p(女）） 对方如果告诉我们性别，信息是？ 男 女 40 60 It depends! If male, lb 1/.4 If female, lb 1/.y * 湖北经济学院信息管理学院 * 信息墒 男 女 40 60 It depends! If male, lb 1/.4---- with 0.4 possibility If female, lb 1/.y----with .6 possibility But on average (if this repeats many times, on average), the info is .4*lb1/.4+.6*lb1/.6 * 湖北经济学院信息管理学院 * 信息墒 男 女 40 60 .4*lb1/.4+.6*lb1/.6 With this much info, you tell the person is male or female. This much info eliminates your uncertainty of the person’s gender, on average In other words, the uncertainty before the info is given is the above formula. * 湖北经济学院信息管理学院 * 信息墒 男 女 40 60 The uncertainty (or the info needed) is .4*lb1/.4+.6*lb1/.6 or p[1]*I(p[1])+p[2]*I(p[2])=E(I(p[i]) on i) It’s the expectation of I’s. * 湖北经济学院信息管理学院 * Formula A1 A2 … p[1] p[2] … The uncertainty (the info needed) is expected to be: E(I(p[i]) on i)=p[1] I(p[1])+p[2]I(p[2])+… =: H(p[1],p[2],…) H is used by shannon after Boltzmanns H-theorem, * 湖北经济学院信息管理学院 * H(0) A1 A2 A[i] p[1] p[2] 0 H(p[1],p[2],…)=p[1] I(p[1])+p[2]I(p[2])+… If p[i]=0, p[i]*lb(1/[pi]) throws exception. But in fact, if p[i]=0, the item could be just excluded from consideration We define p[i]lb(1/p[i]) =0, when p[i]=0 In consistency with lim p[i]lb(1/p[i]), when p[i] approaches 0. * 湖北经济学院信息管理学院 * Application Entropy can be used to represent uncertainty or info needed. * 湖北经济学院信息管理学院 * Applica