面向多源异构信息的频繁项集挖掘算法.pdfVIP

第27卷摇 第6期 计 算机 技 术 与发 展 Vol.27摇 No.6 2017年6月 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 COMPUTERTECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 June摇 2017 面向多源异构信息的频繁项集挖掘算法 1 2 3 3 刘自力 ,范军丽 ,陈文伟 ,吴润泽 (1. 国网山西省电力公司晋城供电公司,山西晋城 048000; 2.北京国电通网络技术有限公司,北京 100070; 3.华北电力大学 电气与电子工程学院,北京 102206) 摘摇 要:电网调度运行过程中产生海量复杂度高的多源异构数据,利用数据挖掘将这些数据转化为知识是调度智能化发 展的必然趋势。 为此,构建了基于调控大数据的多源异构数据分析模型,提出了一种能够处理大数据的频繁项集挖掘算 法,将分布式统计引入到频繁项集挖掘过程。 该算法根据组合学原理,利用MapReduce扫描一次数据库从原始事务数据 库中完成频繁项集的整个挖掘过程;且在支持度阈值改变的情况下无需重新扫描数据库进行挖掘,改进了现有频繁项集 挖掘算法多次扫描事务数据库和挖掘效率低的问题。 通过利用Hadoop平台对故障信息事务库进行处理,将所提出的算 法与其他频繁项集挖掘算法进行了对比验证实验。 实验结果表明,所提出的算法不受支持度阈值的影响,处理海量事务 数据算法时间开销小,可为实现以准确、安全、经济等目标综合最优的调度智能化分析和决策提供有益的知识。 关键词:智能调度;频繁项集;组合理论;Hadoop 中图分类号:TP39摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2017)06-0076-05 doi:10.3969/j.issn.1673-629X.2017.06.016 Frequent Itemset Mining Algorithm for Multi-source Heterogeneous Information 1 2 3 3 LIU Zi-li ,FAN Jun-li ,CHEN Wen-wei ,WU Run-ze (1.Jincheng Power Supply Company,State Grid Shanxi Electric Power Company,Jincheng048000,China; 2.Beijing Guodiantong Network Technology Co. ,Ltd. ,Beijing 100070,China; 3.School of Electrical and Electronic Engineering,North China Electric Power University, Beijing 102206,China) Abstract:Power grid dispatchinghasproducedlargeamountofmulti-sourceheterogeneousdatawithhighcomplexity,anditistheinevi鄄 table development trend of intelligent