基于云计算的数据挖掘平台架构及其关键技术探讨.pdfVIP

数据库技术 ·DataBaseTechnique 基于云计算的数据挖掘平台架构及其关键技术探讨 文／张瑶 刘辉 能力使得进行高效的海量数据挖掘的目标不再 掘支持的重要途径 。 云计算是一种在互联网时代 遥远 。同时，云计算 SaaS功能 日益被理解和 3．1．2虚拟化技术 中应运而生的新兴的网络技术， 标准化，使得基于云计算 SaaS化的数据挖掘 在云计算的环境下，数据挖掘能实现对 具有 高效率、高容量、动态处理 有了理论和技术的指导，并具有了企业化与大 大量的可用的虚拟化技术的应用、整合，发展 的特点，在社会的商业领域和科 众化的发展趋势。 出一套全面虚拟化的运行战略。云计算和虚拟 研领域表现 出了其相 当高的应用 化的共同组合，使数据挖掘实现了跨系统下的 价值。将云计算应用于数据挖掘 2．1数据挖掘平台构架 平 台的构架之中后，将能在很 大 资源调度，将海量的来源数据进行 IT资源汇 程度上为现代社会中越来越海量 建立在关系型数据库之上的传统的数据 合，动态地实现对用户的虚拟化资源的供给， 的数据挖掘提供一个高效率的技 挖掘技术构架在现时代数据急剧膨胀和分析需 从而以高效率、海量动态的特点完成服务任务。 术平台。本文将结合云计算和数 3．1I3并行云计算技术 求渐增的发展下已经难以应付社会的数据处理 据挖掘 的基本概念和现代意义， 问题。而云计算的分布式存储与计算形式则接 并行云计算技术是一种对于高效执行数 对数据挖掘 的平台构架和相应的 关键技术做 出简要的分析探讨 。 受了当代 的数据挖掘难题，促成了适应时代的 据挖掘计算任务极其重要的技术，并且它对云 云计算数据挖掘平台构架的形成。其包含了面 计算的某些技术细节做 出了封装，例如任务并 向组件的设计理念和分层设计的思想方法。其 行、任务调度、任务容错和系统容错 以及数据 构架 自下向上总共分为 3层，分别为底层的云 分布等。该功能代替了用户对这些细节的考虑， 【关键词】云计算 数据挖掘 关键技术探讨 计算支撑平台层、中间的数据挖掘能力层和上 使得研发效率得到了提高。 层的数据挖掘云服务层。 3．2数据汇集调度 中心 2．2基于云计算的数据挖掘平台构架各层意义 数据汇集调度中心的功能主要是完成对 1云计算和数据挖掘 云计算支撑平台层：顾名思义，该平台 不同类型的数据进行汇集。它实现了对接入该 1．1云计算 层是云计算数据挖掘平台的基础处理平台，其 云计算数据挖掘平台的业务数据收集汇合，能 主要具有的功能是对分布式文件存储与数据库 够解决与不同数据的相关规约问题，并能支持 云计算是并行计算和分布计算 以及网格 提供资源存储，以及实行对数据的有关处理和 多样的源数据格式。 计算的发展，是一种在海量数据大规模的集合 中能动态处理各种服务器数据资源 的一类计算 计算功能。 3．3服务调度与管理技