浅谈如何基于云计算实现数据挖掘.docVIP

浅谈如何基于云计算实现数据挖掘 随着电信行业的发展，电信运营商之间的竞争也愈发激烈。为了在竞争中获取胜利，正确的商业策略成为成功的关键环节。拥有海量用户数据信息，利用数据挖掘技术，可在计费数据、业务订购数据、网管数据等海量用户数据中发现商业，为市场的精准营销打下基础。基于单一节点的数据挖掘系统在处理海量数据集时存在计算瓶颈随着用户规模的扩大及对应用目标的多样需求，数据挖掘应用面临了新的挑战基于云计算技术的数据挖掘方法将大数据集和挖掘任务分解到多台计算机上并行处理.在对经典Apriori算法MapReduce化后建立了一个基于Hadoop开源框架的并行数据挖掘平台,在集群中使用云计算技术处理大数据集,提高数据挖掘的效率基于云计算的并行数据挖掘工具平台包括三个层次，依下而上为分布式计算层，数据挖掘平台层以及业务应用层，具体来讲（1）分布式计算平台层：包括三部分功能：?分布式文件系统：提供分布式数据文件存储功能，提供具备高可靠性、高稳定性的存储平台；并行编程环境：提供基于Mapreduce的变成模型，及任务调度、任务执行、结果反馈等功能；及向平台提交作业功能；分布式系统管理：实现对平台的分布式系统管理。（2）数据挖掘平台层：包括五部分功能：工作流模块：实现对各个数据挖掘步骤及模块总控、调度功能；数据加载模块：将源数据从其他外设中倒入云计算平台的DFS系统；并行ETL模块：对原始