朴素贝叶斯算法与SVM算法在Web文本分类中的效率分析.pptxVIP

朴素贝叶斯算法和SVM算法在Web文本分类中的效率分析 主讲：周磊 指导老师：孙翀 论文研究内容 随着互联网上海量文本信息的增加，数据挖掘扩展到了Web数据挖掘，文本挖掘也随之扩展到了Web文本挖掘。Web文本分类计数是Web文本挖掘的只要分支之一，而文本分类算法的选择对文本分类技术至关重要。 本文主要是通过构建Web分类系统，将朴素贝叶斯算法和支持向量机SVM算法在自建的Web系统的进行效率的测试对比。 朴素贝叶斯分类算法 (1)设D是训练元组和它们相关的类标号的集合。通常，每个元组用一个n维属性向量X={x1,x2,···,xn}表示，描述由n个属性A1,A2···,An对元组的n个测量。 (2)假定有m个类C1,C2,···,Cm。给定元组X，分类法将预测X属于具有最高后验概率的类(在条件X下)。也就是说，朴素贝叶斯分类算法预测X属于类Ci，当且仅当 P(Ci|X)P(Cj|X) 1≤j≤m，j≠i 这样，最大化P(Ci|X)。P(Ci|X)最大的类Ci称为最大后验假设。根据贝叶斯定理： P(Ci|X)=P(X|Ci)P(Ci)/P(X) (3)由于P(X)对所有类为常数，所以只需要满足P(X|Ci)P(Ci)最大即可。 朴素贝叶斯分类算法 支持向量机SVM分类 1.在n维空间中找到一个分类超平面， 将空间上的点分类。如下 2. 一般而言，一个点距离超平面的远近可以表示为分类预测的确信或准确程度。SVM就是要最大化这个间隔值。而在虚线上的点便叫做支持向量Supprot Verctor。 支持向量机SVM分类 实际中，我们会经常遇到线性不可分的样例，此时，我们的常用做法是把样例特征映射到高维空间中去(如下图)； 3. 线性不可分映射到高维空间，可能会导致维度大小高到可怕的(19维乃至无穷维的例子)，导致计算复杂。核函数的价值在于它虽然也是讲特征进行从低维到高维的转换，但核函数绝就绝在它事先在低维上进行计算，而将实质上的分类效果表现在了高维上，也就如上文所说的避免了直接在高维空间中的复杂计算。 Web分类系统总体设计 为选择一个对网页内容已经进行分类的Web网站，本文选取从网易上下载数据， 将其分为训练集和测试集，然后利用这两种算法进行建模测试，最终比较这两种算 法的性能。总体流程如下所示： Web数据处理及采集 采用Hatem Mostafa编写的开源Net Crawler作为网络爬虫(Spider),从网易下载Sports，Life，Finance等7个分类下的约8000个HTML，并对它们进行数据预处理，流程图如下所示： 算法建模 朴素贝叶斯算法建模如下： 算法建模 SVM算法作为新一代机器学习算法，近年来被成功的应用到很多成功的模式识别问题中。其在数学上表示为求解一个二次规划问题。 因此，SVM算法可以利用Matlab中的quadprog函数实现建模，在选择核函数K(x1,x2)=(x1*x2+1)2后，利用文献中的算法，课编写Matlab程序实现SVM算法建模。 核函数：支持向量机通过某非线性变换 φ( x) ，将输入空间映射到高维特征空间。特征空间的维数可能非常高。如果支持向量机的求解只用到内积运算，而在低维输入空间又存在某个函数 K(x, x′) ，它恰好等于在高维空间中这个内积，即K( x, x′) =φ( x) ⋅φ( x′) 。那么支持向量机就不用计算复杂的非线性变换，而由这个函数 K(x, x′) 直接得到非线性变换的内积，使大大简化了计算。这样的函数 K(x, x′) 称为核函数。 文本分类算法评估 对分类算法性能评估主要根据文档测试集的真实类别Oc和分类算法的类别Pc之间的惯性，可形成如下的混淆矩阵： 根据上表可知，对角线为分类正确的实例个数，最理想的分类算 法应是除对角线不为0之外，外其余数字为0. 算法评估 朴素贝叶斯测试结果 下表是利用7000*7个训练集训练后的朴素贝叶斯分类器对3500*7个测试集的测试结果： SVM算法测试结果 经过编写Matlab决策树对1217个文档进行训练后，对916个文档进行了测试，测试结果如下： 比对结果 综合全部实验对比结果，在召回率和准确率上，SVM算法有较大优势，但是在分类速度和训练集、测试集大小上，朴素贝叶斯算法则有明显优势。 因此，在处理大规模的文档且对分类要求相对不是很严格的情况下，朴素贝叶斯算法更为适用；反之，在处理小规模文档且对精确度要求较高的情形下，SVM算法更为适用。另外，如果分类任务是在两类之中分出一类，SVM算法更为方便；反之，如果是多类任务的划分，则朴素