信息论在信息学竞赛中的简单应用.docxVIP

信息论在信息学竞赛中的简单应用引言信息论是计算机科学中很重要的一个分支。虽然有关信息论的内容很少在以往各种关于信息学竞赛的材料里出现，但实际上，信息论作为证明某些问题解法最优性的理论基础，如果能在竞赛中适当地运用，往往可以取得事半功倍的效果。那么，什么是信息论呢？信息论简介信息论是关于信息的本质和传输规律的科学的理论。但是在竞赛中用到的主要是关于不确定性和信息的关系的知识。通过它可以很方便地得到某些交互式问题的一个较好的步数下界（这就是某些文献中所说的“信息论下界”）。不过，具体应该怎么做呢？让我们先来看一些信息论的核心理论：定义：如果一个随机变量x共有n种取值，概率分别为p1,p2,......,pn，则其熵为H(x)=f(p1,p2,......,pn)=∑-Cpilogpi (C为正常数，一般取1)定理1：在得到关于随机变量x的一个熵为h的信息后，x的熵将会减少h。定理2：当一个随机变量的各种取值概率相等时，它的熵最大。这些理论看上去和某些题目关系密切，不是吗？那么，具体应该如何运用呢？让我们来看一些例子：实际应用例1：验证一下定理1。我们宿舍二楼到三楼之间楼梯的窗户外面是相邻的一个平房的房顶。在那一带栖息着三只浑身雪白，一只蓝眼睛，一只绿眼睛的——猫！三只猫分别是一只胖猫，一只瘦而尾巴健全的猫和一只瘦而尾巴不健全的猫。在天冷的时候，它们喜欢趴在楼内的暖气上。于是，每只猫就