源代码数据挖掘十大算法之naive bayes分类-peaker.pdfVIP

#源代码#数据挖掘十大算法之NaiveBayes分类算法

Peaker

朴素贝叶斯（NaiveBayes）是无监督学习的一种常用算法，易于

实现，没有迭代，并有坚实的数学理论（即贝叶斯定理）作为支撑。

本文以拼写检查作为例子，讲解NaiveBayes分类器是如何实现的。

对于用户输入的一个单词（words），拼写检查试图推断出最有可能的

那个正确单词（correct）。当然，输入的单词有可能本身就是正确的。

比如，输入的单词thew，用户有可能是想输入the，也有可能是想输入

thaw。为了解决这个问题，NaiveBayes分类器采用了后验概率P(c|w)

来解决这个问题。P(c|w)表示在发生了w的情况下推断出c的概率。为

了找出最有可能c，应找出有最大值的P(c|w)，即求解问题argmaxP(c|w)。

c

根据贝叶斯定理

P(c|w)=P(w|c)P(c)/P(w)

对于任意的c，P(w)均相等，问题等价与

argmaxP(w|c)P(c)

c

P(w|c)表示的是用户输入w而是想输入c的概率。为了得到

P(c)，我们可以从文本库中统计c出现的频率。但是，P(w|c)似乎计算

起来不那么容易。Norvig[1]中给出了一个简化计算办法：

(1)如果w拼写正确并且出现在文本库中，返回w；

(2)如果(1)没发生，计算与w的编辑距离为1的所有候选c，选出

文本库中出现频率最高者；

(3)如果(1)(2)均没发生，计算与w的编辑距离为2的所有候选

c，选出文本库中出现频率最高者；

(4)如果(1)(2)(3)均没发生，返回w。

一个单词通过删除、交换、更改、四个操作中一种，变换成

另一个单词，这两个单词之间的编辑距离为1。

上面为详细的代码，实现了通过NaiveBayes算法实现分类预测模

型的构建过程。代码中调用了python语言的re包和collection。Re主

要实现了正则化语句的调用，识别文本信息。另外创建了几个函数，分

别是word(),实现了通过正则表达式抓取所有[a-z]+规则的文本信息。

Train()实现了模型的建立和训练过程，另外还有editsl和know_edist2

函数，参数都是word。

喜欢本文吗？欢迎加入云生信跟大家一起进步~