贝叶斯分类算法.pdfVIP

最近在面试中，除了基础 算法 项目之外，经常被问到或被要求介绍和描述下自 己所知道的几种分类或聚类算法， 而我向来恨对一个东西只知其皮毛而不得深入， 故写一个 有关聚类 分类算法的系列文章以作为自己备试之用 (尽管貌似已无多大必要， 但还是觉得 应该写下以备将来常常回顾思考 ) 。行文杂乱，但侥幸若能对读者也起到一定帮助，则幸甚 至哉。 本分类 聚类算法系列借鉴和参考了两本书，一本是 Tom M.Mitchhell 所著的机器学 习，一本是数据挖掘导论，这两本书皆分别是机器学习 数据挖掘领域的开山 or 杠鼎之 作，读者有继续深入下去的兴趣的话， 不妨在阅读本文之后， 课后细细研读这两本书。 除此 之外，还参考了网上不少牛人的作品 ( 文末已注明参考文献或链接 ) ，在此，皆一一表示感谢。 本分类 聚类算法系列暂称之为 Top 10 Algorithms in Data Mining ，其中，各篇分别 有以下具体内容： 1. 开篇：决策树学习 Decision Tree ，与贝叶斯分类算法 (含隐马可夫模型 HMM ) ； 2. 第二篇：支持向量机 SVM( support vector machine ) ，与神经网络 ANN ； 3. 第三篇：待定 ... 说白了，一年多以前，我在本 blog 内写过一篇文章，叫做： 数据挖掘领域十大经典算法 初探 (题外话：最初有个出版社的朋友便是因此文找到的我，尽管现在看来，我离出书日期 仍是遥遥无期 ) 。现在，我抽取其中几个最值得一写的几个算法每一个都写一遍，以期对其 有个大致通透的了解。 OK ，全系列任何一篇文章若有任何错误， 漏洞， 或不妥之处， 还请读者们一定要随时不 吝赐教 指正，谢谢各位。 基础储备：分类与聚类 在讲具体的分类和聚类算法之前，有必要讲一下什么是分类，什么是聚类，都包含哪些 具体算法或问题。 常见的分类与聚类算法 简单来说，自然语言处理中，我们经常提到的文本分类便就是一个分类问题，一般的模 式分类方法都可用于文本分类研究。常用的分类算法包括：朴素的贝叶斯分类算法 (native Bayesian classifier ) 、基于支持向量机 (SVM) 的分类器， k-最近邻法 ( k-nearest neighbor ， 家用吸氧机价格 http://www.qingy kNN ) ，神经网络法，决策树分类法，模糊分类法等等 ( 本篇稍后会讲决策树分类与贝叶斯分类算 法，当然，所有这些分类算法日后在本 blog 内都会一一陆续阐述 ) 。 而 K 均值聚类则是最典型的聚类算法。 监督学习与无监督学习 一般来说， 机器学习方法分为监督学习方法， 和无监督学习方法。 举个具体的对应例子， 则是比如说， 在词义消岐中， 也分为监督的消岐方法， 和无监督的消岐方法。 在有监督的消 岐方法中， 训练数据是已知的， 即没歌词的语义分类是被标注了的； 而在无监督的消岐方法 中，训练数据是未经标注的。 有监督的学习也通常称为分类任务，而无监督的学习通常称为聚类任务。也就是说，分 类属于监督学习，聚类属于无监督学习。 第一部分、决策树学习 1.1 、什么是决策树 咱们直接切入正题。所谓决策树，顾名思义，是一种树，一种依托于策略抉择而建立起 来的树。 机器学习中，决策树是一个预测模型；他代表的是对象属性与对象值之间的一种映射关 系。树中每个节点表示某个对象， 而每个分叉路径则代表的某个可能的属