基于云计算技术的数据挖掘平台设计及技术分析.docVIP

基于云计算技术的数据挖掘平台设计及技术分析 　　摘要：在市场信息资源竞争环境下，会滋生一些不良行为，对云计算中的数据安全造成严重的威胁、资源流失等，如破解密码、僵尸网络等会使得原有的防火墙系统由最初的账号、密码泄露，导致用户找不到相应的系统文件，对工作、学习造成严重的影响。因此，不能片面的认定云计算技术能够准确无误的保障数据信息安全，需要充分的熟悉掌握存在的安全隐患，防患于未然，做好相应的预防及应对措施，才能保障云计算的顺利运行和可持续发展。该文则对云计算技术下的数据挖掘平台设计及技术展开分析。 　　关键词：云计算技术；数据挖掘；设计；技术 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）30-0005-00 　　对于数据挖掘平台设计中，可以基于当前云计算技术发展优势，而数据挖掘与数据是密不可分的，运用云计算技术，有助于优化数据挖掘平台设计工作，以提升数据挖掘平台设计性能。以下本篇对此做具体分析。 　　1云计算技术的应用价值 　　在数据挖掘平台设计中，数据挖掘（Data Mining），就是可以在实际工作中，针对大量、不完全数据，以及有噪声、模糊的实际应用数据之中[1]，能够去有效提取在其中的隐含的数据，这些数据均是人们事先所不知道的数据，但是对于这些数据中，又潜在存在有用的信息；而对于这个发现新数据、信息知识过程，就是数据挖掘的过程，也成为数据库中的知识发现KDD（Knowledge Discovery in Databases）。对于数据挖掘平台设计中，运用云计算技术，与传统数据挖掘相比，采取云计算技术设计实现的数据挖掘平台，能够通过“云”中的多个资源，去完成数据挖掘的工作，可以使数据资源在该数据挖掘平台中得到充分的利用，提高当前数据挖掘的效率[2]。同时，基于云计算技术的数据挖掘平台，其设计意义重大，可以提高数据挖掘效率的同时[3]，还能够克服实际中网格环境下挖掘数据的弊端，实现面向商业应用的数据挖掘工作，现实中更具实用价值。 　　2数据挖掘系统设计意义 　　对于本研究项目中，基于通信资源数据挖掘设计挖掘平台。数据挖掘总体可以分为数据准备、数据挖掘两个大的阶段[4]。数据挖掘平台设计中，根据数据特点运用云计算技术，对数据进行过滤、转换等操作，有助于提升系统设计性能，满足系统设计需求。对于该系统设计中，针对海量用户数据信息，利用数据挖掘技术，基于云计算技术，可在计费数据、业务订购数据、网管数据等海量用户数据中发现商业信息，为通信市场的精准营销打下基础[5]。在系统设计中，运用云计算技术实现数据挖掘， 将云计算技术融入数据挖掘中，采用分布式计算（Map/Reduce）概念，能够将大数据集和挖掘任务分解到多台计算机上并行处理，以确保数据挖掘平台设计符合实际需求。 　　3云计算技术下的数据挖掘平台设计及技术 　　3.1 系统总体设计 　　在云计算技术下，设计数据挖掘平台，采取三层结构，以数据预处理、云计算以及数据挖掘平台为分层，优化提升该平台实现数据挖掘的功能。系统设计结构如下图所示： 　　 　　图1 数据挖掘系统结构 　　对于该平台设计中，在数据预处理层，能够存储分布式数据文件，实现对平台的分布式系统管理。对于云计算层，可以对各个数据挖掘步骤及模块总控、调度[6]；对原始数据进行预处理以得到挖掘数据。对于数据挖掘平台，可以实现具体应用，以确保该平台设计符合实际需求。 　　3.2 系统功能设计 　　运用云计算技术，设计数据挖掘平台，该平台具备多种数据挖掘功能，由数据收集模块、数据预处理模块、模式规则选择模块、应用接口模块四部分组成。如下图所示： 　　对于该系统的数据收集模块，其主要的功能，就是可以负责收集在该平台服务器端中的数据，同时也包括客户的一些登记资料，然后就能够运用文本方式，返回这些收集的数据。 　　对于系统中的数据预处理模块，主要功能则是，能够预处理返回数据信息，去除那些信息中无用的、冗余数据，以便节约系统数据挖掘时间[7]。 　　在数据挖掘平台的模式规则选取模块，可以获取各个站点通用的模式，是一种学习策略。 　　在系统的应用接口模块，其功能是可以实现数据与该数据挖掘平台的连接。 　　3.3 平台数据库设计 　　数据库设计充分利用关系数据库特征，减少数据冗余，数据只在一个地方存储，通过主键和外键对应动态生成所需视图，方便程序编写查询检索代码。部分表键对应关系如下所示： 　　平台中，Reduce可以接收来自不同的map任务数据，同时，其每一个任务中传来的数据，也均是有序存在的[8]。在该数据挖掘平台中，若其reduce端数据量接受较小，可以将其直接存储到内存中，若是数据量超过缓冲区比例，可以将数据进行合并，将其写到磁盘之中。由于数据库的编