ml-chap06.docVIP

　贝叶斯学习 贝叶斯推理提供了推理的一种概率手段。它基于如下的假定，即待考查的量遵循某概率分布，且可根据这些概率及已观察到的数据进行推理，以作出最优的决策。贝叶斯推理对机器学习十分重要，因为它为衡量多个假设的置信度提供了定量的方法。贝叶斯推理为直接操作概率的学习算法提供了基础，而且它也为其他算法的分析提供了理论框架。 介绍 贝叶斯学习同我们的机器学习研究相关，有两个原因。首先，贝叶斯学习算法能够计算显式的假设概率，如朴素贝叶斯分类器，它是解决相应学习问题的最有实际价值的方法之一。例如，Michie et al.（1994）详细研究比较了朴素贝叶斯分类器和其他学习算法，包括决策树和神经网络。他们发现朴素贝叶斯分类器在多数情况下与其他学习算法性能相当，在某些情况下还优于其他算法。本章描述了朴素贝叶斯分类器，并提供了一个详细例子：即它应用于文本文档分类的学习问题（如电子新闻分类）。对于这样的学习任务，朴素贝叶斯分类是最有效的算法之一。 贝叶斯方法对于机器学习研究的重要性还体现在，它为理解多数学习算法提供了一种有效的手段，而这些算法不一定直接操作概率数据。例如，本章分析了第2章的Find-S和候选消除算法，以判断在给定数据时哪一个算法将输出最有可能的假设。我们还使用贝叶斯分析证明了神经网络学习中的一个关键性的选择：即在搜索神经网络空间时，选择使误差平方和最小化的神经网络。我们还推导出另一种