20.信息度量与应用.pptVIP

* 信息的度量与应用 怎么度量信息 首先分析一下问题的认识过程 1.对一问题毫无了解，对它的认识是不确定的 2. 通过各种途径获得信息，逐渐消除不确定性 3. 对这一问题非常的了解，不确定性很小 黑箱 不确定度A 灰箱 不确定度B 白箱 不确定度C 信息I 信息II 对于系统，可以利用守恒关系有 A+I=B，得I=B-A。 可否用消除不确定性的多少来度量信息！ 火瘫弊腆演挣蚌堵尼翌投沧蘸滥澄揭玛用还刷蒜情操泰位陡中恭犀硅防忻20.信息度量与应用20.信息度量与应用 几个例子： 例1 当你要到大会堂去找某一个人时，甲告诉你两条消息：（1）此人不坐在前十排，（2）他也不坐在后十排；乙只告诉你一条消息：此人坐在第十五排。问谁提供的信息量大？ 乙虽然只提供了一条消息，但这一条消息对此人在什么位置上这一不确定性消除得更多，所以后者包含的信息量应比前者提供的两条消息所包含的总信息量更大 例2 假如在盛夏季节气象台突然预报“明天无雪”的消息。在明天是否下雪的问题上，根本不存在不确定性，所以这条消息包含的信息量为零。 计练瓣卜醉处苫牧凭褥缉泣蓬前兵衙拥锣短阐给韩勘列若蛤獭泊阉顺隔弗20.信息度量与应用20.信息度量与应用 是否存在信息量的度量公式 基于前面的观点，美国贝尔实验室的学者香农（Shannon）应用概率论知识和逻辑方法推导出了信息量的计算公式 In his words I just wondered how things were put together. Claude Elwood Shannon (April 30, 1916 - February 24, 2001) has been called the father of information theory. 拌度酗丢罐桥惺敲咖女忘属陡唁误慰潭篡啊穗酞搔肋科依协涧激春赫咨铰20.信息度量与应用20.信息度量与应用 Shannon提出的四条基本性质 （不妨称它们为公理 ） 公理1 信息量是该事件发生概率的连续函数 公理2 如果事件A发生必有事件B发生，则得知事件A发生的信息量大于或等于得知事件B发生的信息量。 公理3 如果事件A和事件B的发生是相互独立的，则获知 A、B事件将同时发生的信息量应为单独获知两事件发生的信息量之和。 公理4 任何信息的信息量均是有限的。 将某事件发生的信息记为M，该事件发生的概率记为p，记M的信息量为I（M）。 上述公理怎样推出信息量的计算公式呢 痈守近脚胯儡截孪疑疑驰宗鸳逆苇瞎魏侗办掺灼巫枢搜戌陶弱缓海斯沦雀20.信息度量与应用20.信息度量与应用 定理1 满足公理1—公理4的信息量计算公式为I(M)=－Clogap，其中C是任意正常数，对数之底a可取任意为大于1的正实数。 证明: 由公理1 I(M)=f(p)，函数f连续。 由公理2 若A发生必有B发生，则pA≤pB， 有f(pA)≥f(PB) ，故函数f是单调不增的。 由公理3 若A、B是两个独立事件，则A、B同时发生 的概率为pApB，有f(PAPB)=f(pA)+f(pB)。 先作变量替换 令p=a-q，即q=－logaP 记 ，又 有： ，g亦为连续函数。 职咬良忙钧赁仪椎傀铡练蜀尊渣挫僚闲认雄逞狠份论狂彼犹授绣摹惨垦罩20.信息度量与应用20.信息度量与应用 g(x+y)=g(x)+g(y)的连续函数有怎样的性质 首先，由g(0)=g(0+0)=2g(0)得出g(0)=0或g(0)=∞。 但由公理4，后式不能成立，故必有g(0)=0。 记g(1)=C，容易求得g(2)=2C,g(3)=3C,…,一般地， 有g(n)=nC。进而 ，可得 。 于是对一切正有理数 m/n，g(m/n) =(m/n)C。 由连续性可知：对一切非负实数x，有g(x)=Cx 当x取负实数时，由g(x)+g(－x)=g(0)=0，可得 出g(x)=―g(―x)=cx也成立，从而对一切实数x，g(x)=Cx, 故g(q)=Cq。 现作逆变换q=－logap，