基于分布式数据流的大数据分类模型和算法-计算机学报.pdfVIP

第卷第期 计 算 机 学 报 ４０ １ 　 　　　　　　　　 Ｖｏｌ．４０Ｎｏ．１ 年月 ２０１７１ ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｊａｎ．２０１７ 　 基于分布式数据流的大数据分类模型和算法 毛国君胡殿军谢松燕 　 　 （ ） 中央财经大学信息学院北京１０００８６ 　 　 摘要大数据是需求驱动的概念随着数据库系统的普及和因特网服务的扩张，企业或者个人可用的数据正在 ． 　　 膨胀，已有的技术很难满足大数据时代的数据分析需求，因此需要探索新的理论和方法来支撑大数据的应用虽然 ． 大数据的 属性已经被广泛讨论，但是它们大多描述的仍然是大数据的表象，所以很难从中抽象出统一的数据格 ４Ｖ 式，因而进一步寻找可用于数据格式化的技术特征是必要的面向于以分布式和流动性为主要技术特征的大数据 ． 应用需求，文中以分布式数据流为数据表达载体，在此基础上设计对应的大数据分类模型和挖掘算子同时针对大 ． 数据的分类挖掘需要解决的关键问题来构建关键步骤对应的算法理论上证明了文中给出的微簇合并技术和样本 ． ： 数据重构方法的合理性实验表明文中提出的基于分布式数据流的大数据的分类模型及算法不仅能大幅度地减 ． ， （ ）； 少网络节点间的通讯代价而且可以获得平均 左右的全局挖掘精度的提升对比已有的典型算法 １０％ ＤＳｍｅａｎｓ ， 、 虽然时间花费略高于 但是两者在不同的数据容量测试下相差很小且时间攀升趋势相当 ＤＳｍｅａｎｓ ． ； ； ； ； 关键词大数据数据挖掘分布式数据流微簇集成分类 　 中图法分类号 号 ／ ＴＰ１８２ 犇犗犐１０．１１８９７ＳＰ．Ｊ．１０１６．２０１７．００１６１ 　　　 犕狅犱犲犾狊犪狀犱犃犾狅狉犻狋犺犿狊犳狅狉犆犾犪狊狊犻犳犻狀犅犻犇犪狋犪犅犪狊犲犱狅狀犇犻狊狋狉犻犫狌狋犲犱犇犪狋犪犛狋狉犲犪犿狊 犵 狔犵犵 ＭＡＯＧｕｏＪｕｎＨＵＤｉａｎＪｕｎＸＩＥＳｏｎＹａｎ