全局通讯网络模式的数据挖掘方法研究.pdfVIP

第 21卷第4期 电 脑 与 信 息 技 术 V01．21No．4 2013年 8月 Computerand Information Technology Aug．2013 文章编号：1005—1228(2013)04—0001—05 全局通讯网络模式的数据挖掘方法研究 徐广宇 ，孟繁军 (1．内蒙古财经大学计算机信息管理学院 内蒙古 呼和浩特 010070； 2．内蒙古师范大学计算机与信息工程学院 内蒙古 呼和浩特010022) 摘 要：随着信息技术迅速发展，数据库的规模不断扩大，从而产生了大量的数据。如果使用传统的数据挖掘技术从庞大 的数据中挖掘出有价值的规则、模式等将需要巨大的计算资源，而且会花费很长的时间。在考虑到挖掘的效率，负载平衡， 运行环境，节点状态等多方面因素的基础上，文章提出了新的并行数据挖掘算法。各个并行计算单元之间采用全局通讯模 式——MasterWorker模式来进行互相通信，降低了并行数据挖掘的通信成本，提高了挖掘的效率，缩短了挖掘的时间。最 后。实验结果验证 了该算法的有效性以及在大数据集挖掘应用中的优越性。 关键词：数据挖掘；并行算法；动态调度 ；全局通讯模式 中图分类号：1]P311．13 文献标识码：A ParallelAlgorithm forM iningAssociationRulesBasedonMaster-W orkerModel XUGuang—yu，MENGFan-jun2 (1．CollegeofComputerInformationManagement,InnerMongohaUniversityofFinnacenadEconomic~Hohhot010070，China； 2．ComputernadInformadonEngineeringCoUege，InnerMongohnaNormalUmvenity，Hohhot010022，China) Abstract：W ith therapid developmentofinformation technology，expanding the sizeofthe database，resultsin alarge amountofdaat．Ifweusetraditionaldata miningtechniquesfrom alarge datato getvaluablerules，modelsnad SO on． Itwillrequire enomr ouscomputing resources，nad will take a long time．Taking into accounthte efficiency of the mining，load balancing，the urnning environment，nodestatusand otherfactors，thepaperproposesa new praalleladat mining algorithm，hte variouspraallelcomputing unitsuse Master—W orker modelforcommunication wiht each other． Theproposed algorithm reducesthecommunication COSts ofparalleldatamining，improvesthe efficiency ofadat mining， nad shortensthe period time ofdata mining．The experimentresults demonstrate its effectivenessand superiority ofhte algorithm in large size daat miningapph