贝叶斯定理的趣题及其应用..docVIP

贝叶斯定理的趣题及其应用 My Works, by Wei. 今天看到某两人的对话，大概是这样的： 现在得甲流的80%都发烧！ 楼上说得不对吧，应该是现在80%发烧的得的都是甲流！ 仔细想想，这个问题其实很有趣。设想：如果以上两条都成立，也就是得甲流80%发烧、发烧的80%是甲流，我们能推出什么结论呢？ 其实这是一个典型的条件概率问题。一般的，在B发生的情况下A发生的概率可以表示为P(A|B)。那么“得甲流80%发烧”可以表示为P(发烧|甲流)=0.8。不妨用P(甲流)来表示得甲流的概率（得甲流人数与总人数的比值，下似），那么P(甲流)×P(发烧|甲流)就是既得甲流又发烧的概率，既P(甲流)×P(发烧|甲流)=P(甲流∩发烧)。同样的，“发烧的80%是甲流”可以表示为 P(甲流|发烧)=0.8、P(发烧)表示发烧的概率，那么P(甲流∩发烧)又可以表示为P(发烧)×P甲流|发烧)。于是，我们得到了一个这样的推论：P(甲流)×P(发烧|甲流)=P(发烧)×P(甲流|发烧)。由于P(发烧|甲流)=P(甲流|发烧)=0.8，所以P(甲流)=P(发烧) 而刚才我们得到的推论，也就是贝叶斯定理，其一般形式为： 请设想下面一个情景：某种酒精检测仪在对吸烟的人使用时99%报阳性、1%报阴性，而在对不吸烟的人使用的时候99%报阴性、1%报阳性。已知学校中吸烟的学生大概占1%，请问如果对某学生的检验程阳性，那么该学生吸烟的概率是多少？ 肯能你会很果断得从直觉判断99%，但是有时候人的直觉却是错的。 其实如果检验程阳性学生吸烟的概率就是P(吸烟|阳性)。根据贝叶斯公式：P(吸烟|阳性)=P(阳性|吸烟)P(吸烟)/P(阳性)。P(阳性|吸烟)和P(吸烟)都是已知条件，而P(阳性)其实就是P(吸烟)×P(阳性|吸烟)+P(不吸烟)×P(阳性|不吸烟)。化简整理，P(阳性|吸烟)P(吸烟)/[P(吸烟)×P(阳性|吸烟)+P(不吸烟)×P(阳性|不吸烟)]=(0.99×0.01)/(0.99*0.01+0.01*0.99)=50%！远远低于99%！而如果把原数据中的“学校中吸烟的学生占1%”改成“0.5%”，所求概率将进一步降低到33.22%！ 另外，贝叶斯定理还在中文分词、机器翻译、垃圾邮件过滤和人工智能方面有着很多的应用。在这里我就不多写了，更多请看这篇强文！ 概率论只不过是把常识用数学公式表达了出来。 ——拉普拉斯 记得读本科的时候，最喜欢到城里的计算机书店里面去闲逛，一逛就是好几个小时；有一次，在书店看到一本书，名叫贝叶斯方法。当时数学系的课程还没有学到概率统计。我心想，一个方法能够专门写出一本书来，肯定很牛逼。后来，我发现当初的那个朴素归纳推理成立了——这果然是个牛逼的方法。 ——题记 目录 0. 前言 1. 历史 ??? 1.1 一个例子：自然语言的二义性 ??? 1.2 贝叶斯公式 2. 拼写纠正 3. 模型比较与贝叶斯奥卡姆剃刀 ??? 3.1 再访拼写纠正 ??? 3.2 模型比较理论（Model Comparasion）与贝叶斯奥卡姆剃刀（Bayesian Occam’s Razor） ??? 3.3 最小描述长度原则 ??? 3.4 最优贝叶斯推理 4. 无处不在的贝叶斯 ??? 4.1 中文分词 ??? 4.2 统计机器翻译 ??? 4.3 贝叶斯图像识别，Analysis by Synthesis??? ??? 4.4 EM 算法与基于模型的聚类 ??? 4.5 最大似然与最小二乘 5. 朴素贝叶斯方法（又名“愚蠢者的贝叶斯（idiot’s bayes）”） ??? 5.1 垃圾邮件过滤器 ??? 5.2 为什么朴素贝叶斯方法令人诧异地好——一个理论解释 6. 层级贝叶斯模型 ??? 6.1 隐马可夫模型（HMM） 7. 贝叶斯网络 0. 前言 这是一篇关于贝叶斯方法的科普文，我会尽量少用公式，多用平白的语言叙述，多举实际例子。更严格的公式和计算我会在相应的地方注明参考资料。贝叶斯方法被证明是非常 general 且强大的推理框架，文中你会看到很多有趣的应用。 1. 历史 托马斯·贝叶斯（Thomas Bayes）同学的详细生平在这里。以下摘一段 wikipedia 上的简介： 所谓的贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大”。而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子