一种稳定的并行分布式频繁集挖掘算法及其应用.pdfVIP

第28卷第3期 计算机应用与软件 V01．28No．3 2011年 3月 ComputerApplicationsandSoftware Mar．20ll 一 种稳定的并行分布式频繁集挖掘算法及其应用 秘中凯 姜晓红 雷 蕾 (浙江大学计算机科学与技术学院 浙江 杭州 310027) (中圈中医科学院中医药信息研究所 北京 1OO7OO) 摘 要 为解决大规模医药数据分析中的频繁集挖掘问题，提出一种稳定且具有 良好扩展性的并行分布式算法P-FIM。该算法 将挖掘任务分割成无相互依赖关系的同构子任务，实现有效的并行计算；并且充分利用 Map／Reduce框巢和集群环境的优势提高 自 身的鲁棒性和负载均衡能力。采用最大规模为512万条记录的中医药方剂数据进行算法性能分析实验，其结果表明，该算法在分布 式集群环境中表现稳定 ，而且随着集群规模的增加其加速比接近线性。以P—FIM算法为基础设计实现的中医药数据相关性分析方 案，可有效地从大规模临床数据 中获得全面、可靠的病 、症、药间相关性的信息、。 关键词 数据挖掘 频繁集挖掘 Map／Reduce并行框架 医药数据分析 A STABLEPARALLELDISTRIBUTEDFREQUENTITEMSETMININGALG0RITHM AND ITSAPPLICATIoN MiZhongkai JiangXiaohong LeiLei (CollegeofComputerScienceandTechnology，ZhefiangUniversity，Hangzhou310027，Zh~iang．China) 。(InstituteofInformationonTraditionalChineseMedicine，AcademyofChineseMedicineScience，Bering100700，China) Abstract ThispaperproposesP-FIM ，astableparalleldistributed algorithm withgoodscalability，todealwitl1frequentitemsetmining issueinlargescale medicine data analysis．Itdividestheminingtask intoindependentisomorphic subtaskstoachieve effectiveparallel computation，andtakesfulladvantageofMap／Reduceinfrastructureaswellascomputing clustertoimprove itsown robustnessand load balancecapability．InthispaperweemTyoutanalyticalexperimentonperformanceoftheP—FIM algorithm basedonTCM prescriptiondata thatcontainlargestrecordsupto51．2million．Theresultshowsthatthealgorithm performsstably indistributedclusteringcondition，and approacheslinearspeedupalongwiththeaugmentofclusteringscale．ThecorrelationanalysisschenleoftraditionalChinesemedicinedesigned andimplementedbasedonP—FIM algorithm caneffectivelygaincomprehensiveandreliableilfformationcmTelatingwiththedisease，symptoms