第八章逻辑模型概述.ppt

逻辑模型 浙江大学数学建模基地 至此，我们已经引入了信息度量的定量公式。如前所述，它是信息对消除问题的不确定性的度量。这种讲法似乎有点难以为人们所接受，其实，这只是人们的习惯在起作用。这里，我们不妨来作一比较。在人们搞清热的奥秘以前，温度也是一个较为抽象的概念，因它实质上是物体分子运动平均速度的一种映。人们天生就知道冷和热，但如何来度量它却曾经是一个难题。只有在解决了这一问题以后，以定量分析为主的热力学才能得到飞速的发展。信息问题也是这样，人们对各种信息包含的实质“内容”究竟有多少往往也有一个直观的感觉，但用什么方法来度量它，却比“今天15度”这样的讲法更不易理解，因为它是通过较为抽象的概率来计算的。 平均信息量（熵）问题 设某一实验可能有N种结果，它们出现的概率分别为p1,…,pN,则事先告诉你将出现第i种结果的信息，其信息量为－log2pi，而该实验的不确定性则可用这组信息的平均信息量（或熵） 来表示 例15 投掷一枚骼子的结果有六种，即出现1—6点、出现每 种情况的概率均为1/6，故熵 H=log26≈2.585（比特）。 投掷一枚硬币的结果为正、反面两种，出现的概率均为1/2，故熵 H=log22=1（比特）。 向石块上猛摔一只鸡蛋，其结果必然是将鸡蛋摔破，出现的概率为1，故熵H=log21=0 从例子可以看出，熵实质上反映的是问题的“模糊度”，熵为零时问题是完全清楚的，熵越大则问题的模糊程度也越大 离散型概率分布的随机试验，熵的定义为 ： （11.5） 连续型概率分布的随机试验，熵的定义为 : （11.6） 熵具有哪些有趣的性质 定理11.3 若实验仅有有限结果S1,…,Sn，其发生的概率分别为 P1,…,Pn，则当 时，此实验具有最大熵。 此定理既可化为条件极值问题证明之，也可以利用凸函数性质来证明，请大家自己去完成 定理9.4 若实验是连续型随机试验，其概率分布P(x)在[a,b]区间以外均为零，则当 P(x)平均分布时具有最大熵。 定理9.5 对于一般连续型随机试验，在方差一定的前提下，正态分布具有最大的熵。 定理9.6 最大熵原理，即受到相互独立且均匀而小的随机因素影响的系统，其状态的概率分布将使系统的熵最大。 上述结果并非某种巧合。根据概率论里的中心极限定理，若试验结果受到大量相互独立的随机因素的影响，且每一因素的影响均不突出时，试验结果服从正态分布。最大熵原理则说明，自然现象总是不均匀逐步趋于均匀的，在不加任何限止的情况下，系统将处于熵最大的均匀状态。 例16 有12个外表相同的硬币，已知其中有一个是假的，可能轻些也可能重些。现要求用没有砝码的天平在最少次数中找出假币，问应当怎样称法。 解 假币可轻可重，每枚硬币都可能是假币。故此问题共有 24种情况，每种情况的概率为1/24。所以此问题的熵为log224。 确定最少次数的下界 实验最多可能出现三种结果 ，根据定理11.3，这种实验在可能出现的各种事件具有相等的概率时，所提供的平均信息量最大，故实验提供的平均信息量不超过log23。 设最少需称k次，则这k次实验提供的总信息量 不超过klog23=log23k，又问题的模糊度（熵）为log224 必要条件: log23k≥log224 ，得 k≥3。 称三次足够了吗？ 实验方法：使每次实验提供尽可能大的平均信息量。 第一次：将12枚硬币平分成三堆，取两堆称，出现两中情况 情况1 两堆重量相等 假币在未秤的4枚中。任取其中的3枚加上从已秤过的8枚中任取的1枚，平分成两堆称。出现两种情况 情况1.1 两堆重量相等 最后剩下的一枚是假币,再称一次知其比真币轻还是重。 情况1.2 两堆重量不相等 设右重左轻，并设真币在左边， 若假币在右边，则比真币重，若在左边，则轻。取右边两个称 。 情况2 两堆重量不相等 设右边较重 。先从左边取出两枚，再将右边的取两枚放到左边，将原来左边的两枚中取出一枚放于右边 情况2.1 两堆重量相等 取出的两枚中轻的为假币，再称一次即可找出假币。 情况2.2 两堆重量不相等 若右边较重，