KNN分类算法的MapReduce并行化实现-JournalOfNUAA-南京.PDFVIP

45 4 Vo l . 4 5 N o. 4 2013 8 Journal of N anjing U niversit y of A ero nautics A st ronautics Aug . 2013 KNN MapReduce 1 1, 2 3 闫永刚　马廷淮 　王　建 1. , , 210044 ; 2 . , , 2 10044; 3. , , 210093) : 为了提高k-near est neig hbor algo r ithm K N N ) 算法处理大数据集的能力, 本文利用M ap Reduce 并行编程模 型, 同时结合 算法自身的 点, 给出了 算法在 平台下的并行化实现。通过设计 、 K NN K NN Hadoo p M ap Co mbine 和R educe 3 个函数, 实现了K N N 算法的并行化。M a p 函数完成每 个测试样本与训练样本之间的相似度计算, Combine 函数作为一个本地的Reduce 操作, 用以减少中间计算量及通信开销, Reduce 函数则根据上述函数得到 的中间结果计算出k 近邻并作出分类判断。实验结果表明: 较之以往的单机版方法, 在Hadoo p 集群上实现的并 行化K N N 算法具有较好的加速比和良好的扩展性。 : K N N 分类; 并行计算; M ap Reduce 模型; Hadoop : T P391: A : 1005-2615 2013) 04 -0550-06 Parallel Implementing KNN Classification Algorithm Using MapReduce Programming Mode Yan Yongg ang 1 , M a Ting h uai1, 2 , W ang J ian3 1. Schoo l o f Co mput er and Softw ar e, N anjing U niver sity of I nfo rmat ion Science T echnolo gy , N anjing , 2 10044, China; 2. Jiang su Eng ineering Center o f N etw or k M onito ring, Nanj ing U niver sity o f Infor mation Science T echnolog y, Nanj ing, 210044, China ; 3 . School o f Electr onic Science and Engineer ing , N anjing U niver sity , N anjing , 210093, China ) Abstract: In order t o im pro ve t he abilit y of K N N algo rithm t o process massive dat a, a new t echnique based on Hadoop plat f orm is u sed. Co nsidering t he char act erist ics o f the K N N alg orit hm itself, the par - allel ism of K N N based on th