基于map和redule并行的svm分类算法.docxVIP

基于map和redule并行的svm分类算法 0 svm分类算法的特点 云计算是互联网发展的产物。大多数基于网络统计和分析的数据都是大规模和有限的数据。面对如此庞大且不断增长的数据信息, 如何高效、准确地组织和分类这些数据信息是当代信息科学技术领域的一大难题。传统平台在数据分类时效率低下, 有2个主要原因:传统平台在很大程度上受到了计算力伸缩性的制约, 平台的计算力不易得到扩展和伸缩;分类算法大多以串行的方式运行, 很少被并行化处理, 分类过程不能高效并行化进行。 SVM (support vector machine, 支持向量机) 分类算法有很好的泛化能力与学习能力。该算法是以结构风险最小化为目标, 所求得的解是全局最优解。该算法可以解决“维数灾难”问题。但SVM分类算法的分类准确度易受到数据集、分类器及训练参数的影响, 传统的支持向量机模型参数及其核函数参数的取值大多都是随机值或经验值, 随机性和主观经验性过强, 这导致分类的准确度不高。 笔者在云计算环境下为数据分类提供弹性的集群计算力来满足计算的需求, 使平台的计算力得到扩展, 并在其平台下对分类算法进行MapReduce并行化处理和运行, 利用基于优化理论的遗传算法对支持向量机模型参数和核函数参数进行优化, 对数据进行实验仿真, 与未优化的SVM算法进行了对比以验证算法的有效性。 1 麦擦模型和应用 1.1 map+r