大数据下的分布式精确模糊KNN分类算法.PDFVIP

———————————————————————————————————————————————— 大数据下的分布式精确模糊KNN 分类算法 作者 邹劲松，李芳 机构 重庆水利电力职业技术学院 电子信息工程系；重庆大学 计算机学院 DOI 10.3969/j.issn.1001-3695.2018.04.0373 基金项目 重庆市教育科学“十三五”规划2017 年度重点无经费课题（2017-GX-181） 预排期卷 《计算机应用研究》2019 年第36 卷第12 期 摘要 针对 K-近邻(KNN)方法处理大数据集的效率问题进行了研究，提出了一种基于Spark 框架的 分布式精确模糊KNN 分类算法。该方法创新性地将Spark 框架分布式map 和reduce 过程与 模糊KNN 结合，首先对不同分区中训练样本类别信息进行模糊化处理，得到类别隶属度，将 训练集转换为添加类隶属度的模糊训练集；然后使用 KNN 算法对先前计算的类成员测试集 计算得到k 个最近邻；最后通过距离权重进行分类。针对百万级大数据集样本的实验，以及