基于Hadoop云计算平台贝叶斯分类算法设计与实现.docVIP

基于Hadoop云计算平台贝叶斯分类算法设计与实现 　　【摘 要】今天，互联网的应用、商业智能数据分析、科学数据处理等具有海量数据挖掘需求的应用变得越来越普遍，如何高效管理、分析这些海量数据成为当前急需解决的问题：本文基于Apache的开源云计算平台，运用分布式文件系统、并行编程模型以及并行执行引擎实现了数据分类挖掘算法：贝叶斯算法。并运用设计好的分类器，做了简单的文本分类程序。从结果分析来看，并行计算的优势得到了充分体现。 　　【关键词】云计算；Hadoop；数据挖掘；贝叶斯 　　1算法概述 　　1.1贝叶斯定理 　　贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。从数学角度来说，分类问题可做如下定义。 　　定义1.已知集合C={y1，y2，…，yn}和I={x1，x2，…，Xm，…}，确定映射规则y=f（x），使得任意xi∈I有且仅有一个yi∈C使得yi=f（xi）成立。（不考虑模糊数学里的模糊集情况）。其中叫做C类别集合，其中每一个元素是一个类别，而I叫做项集合，其中每一个元素是一个待分类项，f叫做分类器。分类算法的任务就是构造分类器f。 　　定义2.（条件概率）P（A|B）表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为 　　（1） 　　贝叶斯定理之所以有用，是因为我们在生活中经常遇到这种情况：我们可以很容易直接得出P（B|A），但很难直接得出P（A|B），但我们更关心P（A|B），贝叶斯定理就为我们打通从P（B|A）获得P（A|B）的道路。下面不加证明地直接给出贝叶斯定理。 　　定理1（贝叶斯定理）. 　　（2） 　　1.2朴素的贝叶斯分类 　　朴素的贝叶斯分类算法定义如下： 　　算法[朴素的贝叶斯分类算法] 　　设x={a1，a2，…，am}为一个待分类项，而每个a为x的一个特征属性。 　　有类别集合C={y1，y2，…，yn}。 　　计算P（y1|x），P（y2|x），…，P（yn|x）。 　　如果P（yk|x）=max{P（y1|x），P（y2|x），…，P（yn|x）}，则x∈yk。 　　那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做： 　　找到一个已知分类的待分类集合，这个集合叫做训练样本集。 　　统计得到在各类别下各个特征属性的条件概率估计。即 　　P（a1|y1），P（a2|y1），…，P（am|y1） 　　P（a1|y2），P（a2|y2），…，P（am|y2） 　　P（a1|yn），P（a2|yn），…，P（am|yn） 　　如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导： 　　（3） 　　因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有： 　　P（x|yi）P（yi）=P（a1|yi）P（a2|yi）…P（am|yi）P（yi） 　　=（3） 　　1.3估计类别系特征属性划分的条件概率及Laplace校准 　　当特征属性为连续值时，通常假定其指服从高斯分布（也称正态分布）。即： 　　（4） 　　而P（ak|yi）=g（ak，，）。因此只要计算出训练样本中各个类别中此特征项划分的各均值和标准差，代入上述公式即可得到需要的估计值。均值与标准差的计算在此不再赘述。 　　2系统的架构设计 　　经过对Hadoop云平台的学习，系统地了解了Mapeduce编程之后，我们发现Hadoop平台所提供的数据类型是比较少且灵活性较差的。这给算法的实现带来了极大的困难。因此，为了能够有条理地编写贝叶斯分类算法，我们将算法所需的数据结构编写成Math包。另外，我们对一些与算法无关的辅助代码，诸如读写HDFS文件系统，解析命令行参数等，则封装到Tools包中。 　　3算法实现 　　3.1关于math库的实现 　　本项目中，Math库的数据结构是基于HDFS文件系统的。诸如向量（Vector）、矩阵（Matrix）以及键值对（Pairs）都是存放在文件中的。 　　3.2关于Tools库的实现 　　对Hadoop的fs包做拓展，我们提供一个更适用于本系统的文件读写访问工具类。另外，程序需要读入的参数较多，为了方便，我们提供一个命令行解析类。 　　可见这两个项目在准确性上是不相上下的。不过，Mahout的效率要高的多，它运行约30分钟，我们的系统则需要40分钟左右，平均要慢30%还多。据初步分析，这个应该是底层数据结构的实现影响了效率。在我们的项目中，则使用了效率低下的顺序存储。在大数据的压力下，这种在算法中频发使用的数据结构无疑成了我们系统的瓶颈。 　　参考文献： 　　[1][Lam.C