Bayes方法基础.pdf

数学之美：平凡而又神奇的贝叶斯方法 Tags: 数学, 机器学习与人工智能, 计算机科学 概率论只不过是把常识用数学公式表达了出来。 ——拉普拉斯 记得读本科的时候，最喜欢到城里的计算机书店里面去闲逛，一逛就是好几个小 时；有一次，在书店看到一本书，名叫贝叶斯方法。当时数学系的课程还没有学 到概率统计。我心想，一个方法能够专门写出一本书来，肯定很牛逼。后来，我 发现当初的那个朴素归纳推理成立了——这果然是个牛逼的方法。 ——题记 目录 0. 前言 1. 历史 1.1 一个例子：自然语言的二义性 1.2 贝叶斯公式 2. 拼写纠正 3. 模型比较与贝叶斯奥卡姆剃刀 3.1 再访拼写纠正 3.2 模型比较理论（Model Comparasion）与贝叶斯奥卡姆剃刀（Bayesian Occam’sRazor） 3.3 最小描述长度原则 3.4 最优贝叶斯推理 4. 无处不在的贝叶斯 4.1 中文分词 4.2 统计机器翻译 4.3 贝叶斯图像识别，Analysis bySynthesis 4.4EM 算法与基于模型的聚类 4.5 最大似然与最小二乘 5. 朴素贝叶斯方法（又名“愚蠢者的贝叶斯（idiot’sbayes）”） 5.1 垃圾邮件过滤器 5.2 为什么朴素贝叶斯方法令人诧异地好——一个理论解释 6. 层级贝叶斯模型 6.1 隐马可夫模型（HMM） 7. 贝叶斯网络 0. 0. 00.. 前言 这是一篇关于贝叶斯方法的科普文，我会尽量少用公式，多用平白的语言叙述， 多举实际例子。更严格的公式和计算我会在相应的地方注明参考资料。贝叶斯方 法被证明是非常 general 且强大的推理框架，文中你会看到很多有趣的应用。 1. 1. 11.. 历史 托马斯·贝叶斯（ThomasBayes）同学的详细生平在这里。以下摘一段 wikipedia 上的简介： 所谓的贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章 是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前，人们已经 “ ” “ N M 能够计算 正向概率 ，如 假设袋子里面有 个白球， 个黑球，你伸手进去摸 一把，摸出黑球的概率是多大”。而一个自然而然的问题是反过来：“如果我们事 先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观 察这些取出来的球的颜色之后，那么我们可以就此对 袋子里面的黑白球的比例 作出什么样的推测”。这个问题，就是所谓的逆概问题。 实际上，贝叶斯当时的论文只是对这个问题的一个直接的求解尝试，并不清楚他 当时是不是已经意识到这里面包含着的深刻的思想。然而后来，贝叶斯方法席卷 了概率论，并将应用延伸到各个问题领域，所有需要作出概率预测的地方都可以 见到贝叶斯方法的影子，特别地，贝叶斯是机器学习的核心方法之一。这背后的 深 刻原因在于，现实世界本身就是不确定的，人类的观察能力是有局限性的（否 则有很大一部分科学就没有必要做了——设想我们能够直接观察到电子的运行， 还需要对原子模型争吵不休吗？），我们日常所观察到的只是事物表面上的结果， 沿用刚才那个袋子里面取球的比方，我们往往只能知道从里面取出来的球是什么 颜色，而 并不能直接看到袋子里面实际的情况。这个时候，我们就需要提供一 个猜测（hypothesis，更为严格的说法是“假设”，这里用“猜测”更通俗易懂一 点）， 所谓猜测，当然就是不确定的（很可能有好多种乃至无数种猜测都能满足目前的 —— 1. —— 1. 观测），但也绝对不是两眼一抹黑瞎蒙————具体地说，我们需要做两件事情：11.. 2. 2. 算出各种不同猜测的可能性大小。22.. 算出最靠谱的猜测是什么。第一个就是计 算特定猜测的后验概率，对于连续的猜测空间则是计算猜测的概率密度函数。 第二个则是所谓的模型比较，模型比较如果不 考虑先验概率的话就是最大似然 方法。 1.1