面向数据挖掘云端实施专业技术方案.docVIP

面向数据挖掘的云端实施方案 摘要：云端运算是一种基于互联网的新兴应用计算机技术，数据挖掘是商业智能的重要环节，Data Mining与云端运算的结合将极大提高数据挖掘的应用与统计科学的发展。本文提出了云端的数据挖掘即服务（DMaaS，Data Mining as a Serves）的概念，分别从IaaS、PaaS与DMaas给出了面向数据挖掘的云端实施方案；设计出商用DM软件与开源DM软件的云端实施平台，引入R中平行运算技术对Cloud-R进行改进。 关键词：云端运算；Data Mining；DMaaS；平行运算 中图分类号：C81 文献标识码：A The Cloud Computing Program for Data Mining Technology Abstract: Cloud computing is a kind of newly emerging technology of computer application based on Internet. Data Mining is a key step in Business Intelligence. The combination of Data Mining and Cloud computing will greatly enhance the application of Data Mining and the development of Statistics Science. The paper proposes the concept of DMaaS and provides implication programs of cloud computing from the aspect of IaaS, PaaS and DMaaS respectively. The paper designs the cloud computing platforms of Commercial DM software and open source DM software, and introduces parallel computing in R to improve Cloud-R. Keywords: Cloud Computing; Data Mining; DMaaS; Parallel Computing 引言 数据挖掘也是商业智能的重要环节，数据仓库是数据挖掘得以发展的基础，也是商业智能的支撑，由此可见数据仓库对于商业智慧来言具有很重要的作用，它集成了企业的最核心的数据，随着企业对数据的再次利用和深入挖掘，海量数据的高效计算问题成为企业最为关注的一个问题之一。在商业智慧(BI)活动中，数据仓库与数据挖掘要求的费用支出庞大，很多中小企业望而却步。云端运算的出现，对中小企业来讲，是一个振奋人心的好消息。如果云端运算应用在商业智能上，由于云端运算具有按需使用、按使用收费特性，这将大大减少企业应用商业智能的成本。此外，一方面，我们可以通过云的数据仓库实现海量数据的高效计算。另一方面，云端运算可以实现在线支付使用数据挖掘工具和商业智能相关分析处理软件。数据挖掘（Data Mining）具备更多的工具与更成熟的功能，与领导品牌的BI解决方案并驾其驱，但投资成本却更低；Data Mining大幅提升的效能与新增强化的功能，吸引我们全面升级以发挥新技术的效益。例如，台湾广达电脑有限公司以Intel搭配SQL Server，所耗费的成本却低于Unix的三分之一，创造了绝对的成本优势。目前，在线数据挖掘服务也受到大陆许多企业的青睐，中国的海量信息技术有限公司提供的名“海纳睿”的在线数据挖掘服务，可以利用其在在线网络数据挖掘技术上的优势，为用户提供个性化需求，定制个性模块服务，以此来满足网站的不同需求。此外，开源商业智慧（BI）厂商生态系统逐渐崛起，包括Jasper Soft、Actuate、Pentagon、Spago BI等。 云端运算(Cloud Computing)是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，或者说是这些计算机科学概念的商业实现,它具有超大规模、虚拟化、高可靠度、高通用性、使用者付费、成本低、高扩充性等特色。云端运算将庞大运算操作拆成千百个较小的操作，再交给远程、多台服务器同时运算；透过此种技术，网络服务提供者可以在数秒之内，处理数以千万计的信息，并提供和超级计算机一样强大效能的网络服务，以符合网络用户日增的各种需求。云端运算基于因特网的运算方式，它通过因特网为个人使用者或企业使用者提供按需即取的服务。直观