云计算技术下数据挖掘平台的设计及技术.docVIP

云计算技术下数据挖掘平台的设计及技术 　　摘 要： 为了探讨云计算技术下数据挖掘平台设计及技术应用效益，通过研究设计云计算技术下数据挖掘平台，在云计算技术支持下，优化设计数据挖掘平台，以改进当前数据挖掘技术质量。结果表明，设计基于云计算技术的数据挖掘平台，不仅可以确保提升技术应用效益，也可以提升数据挖掘质量与平台稳定性。相比传统数据挖掘方式，云计算机技术下数据挖掘的效率提高达到20.0%。 　　关键词： 数据挖掘平台； 云计算技术； 技术应用； 优化设计 　　中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2016）16?0061?03 　　Abstract： The purpose of this thesis is to discuss the design of data mining platform based on the cloud computing technology and its application. Through the research of the data mining platform based on the cloud computing technology， the design of the data mining platform was optimized under the support of cloud computing technology to guarantee the effect of the technology application， and improve the quality of the data mining technology and the stability of data mining platform. Compared with the traditional data mining methods， the data mining efficiency is increased by 20%. 　　Keywords： data mining platform； cloud computing technology； technology application； optimization design 　　0 引 言 　　对于数据挖掘平台设计，可以基于当前云计算技术发展优势，而数据挖掘与数据是密不可分的，运用云计算技术，有助于优化数据挖掘平台设计工作，以提升数据挖掘平台设计性能。数据挖掘（Data Mining）能够从实际工作中的大量、不完全数据，以及有噪声、模糊的实际应用数据[1]中有效提取出隐含的数据。这些数据均是人们事先不知道的数据，但是对于这些数据，又潜在存在有用的信息；而这个发现新数据、信息知识的过程就是数据挖掘的过程，即数据库中的知识发现KDD（Knowledge Discovery in Databases）。与传统数据挖掘相比，采用云计算技术设计实现的数据挖掘平台，能够通过“云”中的多个资源去完成数据挖掘的工作，可以使数据资源在该数据挖掘平台中得到充分的利用，提高当前数据挖掘的效率[2]。同时，基于云计算技术的数据挖掘平台，可以在提高数据挖掘效率的同时[3?6]，克服实际中网格环境下挖掘数据的弊端，实现面向商业应用的数据挖掘工作，现实中更具实用价值。 　　1 系统设计需求分析 　　本文基于通信资源数据挖掘设计挖掘平台。数据挖掘总体可以分为数据准备、数据挖掘两大阶段[7]。在数据挖掘平台设计中，根据数据特点运用云计算技术，对数据进行过滤、转换等操作，有助于提升系统设计性能，满足系统设计需求。该系统设计中，针对海量用户数据信息，利用数据挖掘技术，可在计费数据、业务订购数据、网管数据等海量用户数据中发现商业信息，为通信市场的精准营销打下基础[8?12]。在系统设计中，运用云计算技术实现数据挖掘， 将云计算技术融入数据挖掘中，采用分布式计算（Map/Reduce）概念，能够将大数据集和挖掘任务分解到多台计算机上并行处理，以确保数据挖掘平台设计符合实际需求。 　　2 云计算技术下数据挖掘平台设计方案 　　2.1 系统总体设计 　　在云计算技术下设计数据挖掘平台，采取三层结构，以数据预处理、云计算以及数据挖掘平台为分层，优化提升该平台实现数据挖掘的功能。系统设计结构如图1所示。 　　在该平台设计中，数据预处理层能够存储分布式数据文件，实现对平台的分布式系统管理；云计算层可以对各个数据挖掘步骤及模块总控、调度[13]，对原始数据进行预处理以得到挖掘数据；数据挖掘平台可以实现具体应用，以确保该平台设计符合实际需求。 　　2.2 系统功能设计 　　该数据挖掘平台