机器学习-Mitchell-中文-清晰版.pdf

序 言 机器学习这门学科所关注的问题是：计算机程序如何随着经验积累自动提高性能？近年 来，机器学习被成功地应用于很多领域，从检测信用卡交易欺诈的数据挖掘程序，到获取用 户阅读兴趣的信息过滤系统，再到能在高速公路上自动行驶的汽车。同时，这个学科的基础 理论和算法也有了重大的进展。 这本教材的目标是展现机器学习中核心的算法和理论。机器学习从很多学科吸收了成果 和概念，包括统计学、人工智能、哲学、信息论、生物学、认知科学、计算复杂性和控制论 等。我相信，研究机器学习的最佳途径是从这些学科的观点看待机器学习，并且以此来理解 问题的背景、算法以及其中隐含的假定。这些在以往很难做到，因为在这一领域缺少包容广 泛的原始资料。这本书的主要目的就是提供这样的一份资料。 由于素材的多学科性，这本书不要求读者具有相应的知识背景，而是在必要时介绍其他 一些学科的基本概念，如统计学、人工智能、信息论等。介绍的重点是与机器学习关系最密 切的那些概念。本书可以作为计算机科学与工程、统计学和社会科学等专业的大学生或研究 生的教材，也可作为软件研究人员或从业人员的参考。指导这本书写作的两条原则为：1. 它是在校大学生可以理解的；2.它应该包含博士生在开始研究机器学习前要掌握的内容。 指导这本书写作的第三条原则是：它应该体现理论和实践两者的平衡。机器学习理论致 力于回答这样的问题“学习性能是怎样随着给定的训练样例的数量变化的？”和“对于不同 类型的学习任务，哪个学习算法最适合？”利用来自统计学、计算复杂性和贝叶斯分析的理 论成果，这本书讨论了这一类理论问题。同时本书也覆盖了很多实践方面的内容：介绍了这 一领域的主要算法，并阐明了算法的运行过程。一些算法的实现和数据可以在互联网上通过 网址/~tom/mlbook.html 得到。其中包括用于人脸识别的神经网络、用 于信贷分析的决策树学习、及分析文本文档的贝叶斯分类器各自的源代码和所需数据。我很 感谢那些帮助我创建这些在线资源的同事，包括Jason Rennie 、Paul Hsiung 、Jeff Shufelt 、 Matt Glickman 、Scott Davies、Joseph O’Sullivan 、Ken Lang 、Andrew McCallum 和Thorsten Joachims 。 致谢 在写作这本书的过程中，我幸运地得到了机器学习领域很多学科分支的技术专家的帮 助。没有他们的帮助这本书是不可能完成的。我深深地感激下面的科学家们，他们花时间检 阅本书的草稿，并且以他们各自领域的专长对我进行了指导。 （……） 我也很感谢各所大学的很多讲师和学生，他们实地测试了本书的很多草稿并提出了他们 的建议。尽管没有足够的版面来感谢上百名的学生、讲师和其他测试了草稿的人，我要感谢 下面各位，感谢他们特别有帮助的建议和讨论。 （……） 我感谢Joan Mitchell 建立了本书的索引。我也感谢Jean Harpley 帮助编辑了很多插图。 ETP Harrison 的Jane Loftus 帮助整理了本书的手稿。我的编辑，McGraw Hill 出版社的Eric Munson 在项目的整个过程中提供了鼓励和意见。 通常，一个人最该感谢的是他的同事、朋友和家庭。对于我，尤其要表达自己的感激。 我很难想象有人比我在Carnegie Mellon 拥有更好的智者云集的环境和更多的鼎力相助的朋 友。在这些很多帮助过我的人当中，我特别感谢Sebastian Thrun，在这个项目的自始至终， 他一直对我进行着精神鼓励、技术指导等各种支持。我的父母，与以往一样的鼓励我并在最 恰当的时候问“已经完成了吗？”最后，我一定要感谢我的家人：Meghan ，Shannon 和Joan 。 他们在不知不觉中以各种方式对此书作出了贡献。这本书是献给他们的。 Tom M. Mitchell 1 第 章 绪论 自从计算机被发明以来，人们就想知道它们能不能学习。如果我们理解了计算机学习的 内在机制，即怎样使它们根据经验来自动提高，那么影响将是空前的。