基于大数据平台hadoop的聚类算法K值优化研究.pdfVIP

第36卷 第2期 太 原 科 技 大 学 学 报 vol.36 No.2 2015年4 月 JOURNAL OF TAIYUAN UNIvERSITY OF SCIENCE ANDTECHNOLOGY A r.2015  文章编号：1673-2057（2015 ）02-0092-05 基于大数据平台hadoo 的聚类算法K值优化研究 武 霞，董增寿，孟晓 （太原科技大学电子信息工程学院，太原市030024） 摘 要：针对最大最小值原则的Kmeans聚类算法运行在Hadoo 平台时需要多次遍历所有数据的 问题，提出了一种改进的初始聚类中心的选择算法称为M＋Kmeans算法。该算法只需要遍历一次全局 数据极大的缩减了算法并行运算时消耗的时间。多组实验测试结果显示，设计的M＋Kmeans算法适合 运行在大规模集群Hadoo 平台上，并且加速比和扩展率较原始算法有明显提高。 关键词：聚类；大数据；Hadoo ；Kmeans 中图分类号：TP301.6 文献标志码：A doi：10.3969/ j.issn.1673-2057.2015.02.003 聚类分析是数据挖掘领域的一个热门的研究 选取上面，已有不少前人做了研究，如 cano y- 分支。聚类思想就是数据归类：“相似同类，相异不 kmeans算法、最大最小值算法等都是针对K值的选 ［1］。K-means算法是聚类分析中经典的算法。 取提出和优化的。但是cano y 的划分是粗略的，容 同” 算法计算收敛速度快，易于实现但是思想却不简 易重复覆盖。最大最小值算法在计算K 值时要重 单，于是受到广泛的研究和使用。算法本身存在缺 复的遍历数据，造成时间浪费。本文针对最大最小 陷，因为聚类之前对要求划分的类是未知的，因此 值算法的不足，根据“最大值原则”提出了改进的 需要人为的事先确定聚类数目即K 的值，还要事先 算法在中心点选取和K值的确定方面进行优化，这 确定种子中心点，这样使聚类的结果会产生局部最 里称改进后的算法为M＋Kmeans算法，并且将M＋ 优解，而且不正确的K值设定也会对最终数据产生 Kmeans算法运用到Hadoo 大数据平台上。 很大的影响。例如数据本该分为4 类，而却被人为 目前国外大数据的理论已经趋于成熟，企业已 的分成了3类，这样本身就是不恰当的。在K 值的 经将成熟的框架方案运用在商业上［2］。自从 收稿日期：2014-09-26 基金项目：山西省自然科学基金（2012011015-4） 作者简介：武霞（1988- ），女，硕士研究生，主要研究方向为大数据数据挖掘。 檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳檳 （School of Electronic Information Engineering，Taiyuan University of Science and Technology， Taiyuan030024，China） Abstract：Aiming at anti swing of tower crane，a control method of fuzzy neural network based on assivity is ro- osed.The assivity of system isanalyzedby establishingthe Lya unov energy function，andthe membershi func- tion can belearnedtorely onneural networkby usingfuzzy control onthisbasis.Theaccuratemathematical model of