算法合集之信息论在信息学竞赛中简单应用.pptVIP

信息纶 在信息学竞赛中的简单应用 侯启明 信息论简介 ≥信息论是关于信息的本质和传输规律的 科学的理论。 ≥通过它可以很方便地得到某些交互式问 题的一个较好的步数下界(“信息论下 让我们先来看一些 信息论的基本理论 理论基础 定义:如果一个随机变量x共有n种取值, 概率分别为pop2y…,pn,则其熵为 H(x)=f(popp2x…ypn)=∑ Cp logp1 定理1:在得到关于随机变量x的一个熵 为h的信息后,x的熵将会减少h。 ≥定理2 个随机变量的各种取值概率 相等时,它的熵最大。 这些理论看上去和某些 题目关余密切。不是吗? 那么,具体应该如何运 用呢?让我们来看一些例子 例1:验证一下定理1 我们宿舍二楼到三楼之间楼梯的窗户 外面是相邻的一个平房的房顶。在那一带 栖息着三只浑身雪白,有着一只蓝眼睛和 绿眼睛的—猫 e 例1:验证一下定理1 在天冷的时候,它们喜欢趴在楼内的 暖气上。于是,每只猫就有了两种状态: 在屋内和在屋外。因此,三只猫的状态共 有8种可能情况,假设它们是等概率的 现在,我在一楼的小卖部。由于种和 原因,我希望知道猫当时的状况,因此, 我往上看了一眼,结果发现在这个位置只 能知道屋内猫的只数 例1:验证一下定理1 问题1:把所有猫的情况作为一个随机变量x,则 当我在小卖部的时候,x的熵是多少? 解答1:由于8种情况的概率相等,所以 H(x