一种并行改进K―近邻分类方法.docVIP

一种并行的改进K―近邻分类方法 　　摘要：针对传统K-近邻（K-Nearest Neighbor， K-NN）分类方法不能高校处理大规模训练数据的分类问题，该文提出一种并行的改进K-NN（Improved Parallel K-Nearest Neighbor， IPK-NN）分类方法。该方法首先将大规模训练样本随机划分为多个独立同分布的工作集，对于任意一个新来的待检测样本，在每个工作集上采用标准K-NN方法对该样本进行标记，然后综合各训练集的标记结果，得到该样本的最终标记。实验结果表明，在大规模数据集的分类问题中，IPK-NN方法能够在保持较高分类精度的同时提高模型的学习效率。 　　关键词： K-近邻分类； 并行计算； 并行K-近邻分类； 工作集 　　中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2014）12-2825-03 　　A Parallel Improved K-Nearest Neighbor Classification Method 　　QIU Qiang 　　（China North Industries Group Corporation， Taiyuan 030600， China） 　　Abstract：To solve problems that traditional K-nearest neighbor （K-NN） classification algorithm can not solve the large scale training dataset classification problem， this paper presents a parallel improved K-nearest neighbor method， called IPK-NN classification algorithm. At first， the large scale training samples set is divided into some working sets with independent identical distribution. Then for a new query sample， by the traditional K-NN method， the label of it is obtained by every working set. Lastly， combining the label of every working set， the last optimal label of this query sample is obtained. Simulation results demonstrate that by this IPK-NN algorithm， the excellent classification efficiency is obtained with the high classification accuracy. 　　Key words： K-nearest neighbor； parallel computing； parallel K-NN classification； working set 　　随着传感器技术、存储技术、计算机技术和网络技术的迅猛发展以及人们管理与知识水平的提高，使得数据规模日益增大。2008年9月，《Nature》杂志推出了大数据存储、管理和分析问题讨论的专刊[1]，之后《Science》杂志也相继出版了关于大数据的研究报告及专刊[2]。据中国互联网信息中心（CNNIC）于2014年1月16日发布的《第33次中国互联网络发展状况统计报告》研究报告指出，截止2013年12月中国网民数量达到6.18亿。网络技术的飞速发展、网民规模的日益增加，导致现实世界中处理问题的数据规模越来越大。为了能够从海量数据中提炼出有用知识，数据挖掘技术便应用而生。数据挖掘[3]是指从大规模的、不完整的、有噪声的、模糊的、随机的复杂数据集中提取潜在有用的信息或知识。 　　分类作为一种重要的机器学习问题，目前已在图像处理、文本分类、股票分析、生物信息学等领域得到了成功应用。目前，常用的分类模型包括：K-近邻分类[4]、贝叶斯分类[5]、决策树[6]、神经网络[7]等。 　　在这些分类方法中，K-近邻方法是一种典型常用的分类方法[4， 8-9]。K-近邻分类方法是通过衡量待测样本[query]到所有训练样本之间的距离，然后选择距离最近的k个近邻构成该待测样本的近邻集合，并选择近邻集合中类别较多的样本的标签作为待测样本的标签。但是，当训练数据规模较大时，由于K-近邻方法需要计算待测样本