Octopus-跨平台统一MLDM编程模型与平台.pdf

2014.10.232014.10.23 PartPartPartPart  1111 研究动机 Research Motivations 并行化机器学 习与数据挖掘 算法设计是复 杂大数据分析杂大数据分析 的关键技术之 一 大数据机器学习与数据挖掘带来的技术挑战 Challenges that Big Data MLDM brings 　 串行化机串行化机器学学习与数据挖掘算法无法在与数据挖掘算法无法在可接受时间内完成对接受时间内完成对 大规模数据集的计算处理 SerialSerial machinemachine learninglearning algorithmsalgorithms areare notnot ableable toto finishfinish computation upon large-scale dataset in acceptable time 　 串行化算法无法直接使用于现有的各种大数据处理平台串行化算法无法直接使用于现有的各种大数据处理平台 Serial machine learning algorithms do not fit and work on anyy of existingg pparallel compputingg pplatforms 　不同的数据分析应用可能会选择不同的大数据并行处理平台 DifferentDifferent bigbig datadata analyticanalytic applicationsapplications maymay choosechoose toto runrun on different parallel computing platforms 大数据机器学习与数据挖掘带来的技术挑战 Challenges that Big Data MLDM brings 　 面向大数据处面向大数据处理时时，已有的串行机有的串行机器学学习与数据分析算法都与数据分析算法都 需要以并行化方式重写 —— 微软全球副总裁陆奇 EExiistiting machihine llearniing andd ddatta miiniing allgorithithms need to rewrite in parallel for big data 　 所有机器学习与数据挖掘算法需要根据不同的大数据并行处所有机器学习与数据挖掘算法需要根据不同的大数据并行处 理平台重写 —— 阿里巴巴副总裁章文嵩 ExistingExisting machinemachine learninglearning andand datadata miningmining algorithmsalgorithms need to rewrite for different big data processing platforms 频繁项集挖掘并行化算法 Frequent Itemset Mining Algorithm •• FrequentFrequent ItemsetItemset MiningMining isis oneone ofof thethe mostmost importantimportant and often used algorithm for data mining • Apriori algorithm is the most established algorithm for finding frequent itemset from a transactional dataset Tao Xiao, Shuai Wang, Chunfeng Yuan, Yihua Huang. PSON: A Parallelized SON Algorithm with MapReduce for Mining Frequent Sets. The Fourth International Symposium on Parallel Architectures, AlSymposium on Parallel Architectures, Algorithms and Pro