云计算的数据采集分析系统.docx

PAGE 1 PAGE 1 云计算的数据采集分析系统 　　2.2PaaS  　　云计算系统最核心的技术是并行汁算，为了能够让用户更便利地获取云服务，Hadoop云计算平台采用了开源的GoogleMapReduce计算模型供应PaaS服务。  　　由于原有的信息系统很大程度上依靠于人工从检测数据上推断系统是否符合标准，再由工作人员将结果录入系统传回中心服务器数据库。这样不但铺张了大量的人力物力，而且检测结果的精确性和可信性也会随之大打折扣。  　　通过分析，系统信息具有海量、快速到达等数据流特征，采用数据流分类挖掘算法自动将被测信息系统分为合格与不合格两类是可行的。  　　分类器系综算法采用训练一系列分类器，依据其在待分类数据上的分类精确率作为权值，并保留权值最高的n个分类器，最终加权投票做出决策。Wang等人在文献中不但证明白系综分类在提高分类精度方面的有效性，还同时提出的基于动态权重的数据流系综分类算法，但执行效率远不能满意多检测线并行检测的实际问题。为此，引入Hadoop云计算平台中的MapReduce编程模型并行优化基于权重的数据流系综分类算法，自动完成辅助决策任务。  　　算法的执行流程为：  　　(1)将采集的系统信息数据流采样作为训练数据并划分成规模相当的n个数据块。  　　(2)并行在这n个块上训练出n个基分类器，对每个块做格式化操作解析出对，在此处等价于，其中Block为块号，Classifier为基础分类器。  　　(3)启用Master安排进程将n个训练数据块分别发送至安排了Map任务的n个结点，并将新到的待分类数据块放入公共资源池。每个安排了Map任务的节点收到后，并行计算各自的分类器在待分类数据块上的MSEr(出错门限值)、MSEt(均方误差)以及权值w=MSEr-MSE,，同时产生中问键值对(注：Classifier为分类器名称，w为权值)  　　(4)最终由安排了Reduce任务的节点接收步骤(3)中产生的键值对，并调用加权投票算法得到用于分类的最优分类器。  　　由上述的算法分析可知，算法采用多数据块并行产生分类器，故算法的时间复杂度仅为原算法的l/n，大大缩短了自动决策的处理时间，提升了效率。  　　虽然算法对于信息系统数据流的分类精度很高，但实际应用中需要辅助决策能够达到微小的分类出错率，故本文设计了单独的数据重分类进程。当数据流存入数据中心数据库时，利用静态数据分类挖掘算法离线多遍扫描数据来验证决策的正确性。  　　2.3SaaS  　　云计算作为新一代计算技术，它的服务交付模式也与以往有很大不同。在SaaS这一层次，系统需要根据用户需求供应相应的服务模式，也就是说将服务遍布于云内形成服务集群。而由web服务构建的SOA服务体系架构，有利于整合技术平台、统一技术标准，符合SaaS服务模式的内在规律和基本诉求。本文设计的SaaS服务层次是以web服务作为基本技术，采用SOAP协议在web服务之间传递XML格式的检测信息，同时由wsdl描述web服务的接口，并供应服务之间的调用方法。构建SOA服务体系架构示意图如图3所示：  图3SOA服务体系架构  　　参照上图，流程表述如下：  　　(1)无论是监查主机还是监测主机都要先将经过MD5加密认证的用户名以及密码以SOAP协议封装，并通过总线云供应的WSDL接口找到身份安全认证服务WSDL接口将消息传递进去。身份安全认证服务解封装后依据用户类别赋予用户相应的权限，许可访问云系统。  　　(2)当监测主机接收到设备传同的数据后，将监测数据和存储掌握命令以xml格式存储并封装在SOAP协议中，通过云服务总线wsdl接口传送到数据操作服务wsdl接口，并由数据操作服务将消息解封装并提取xml中的数据进行存储操作。  　　(3)监测主机发出以SOAP协议封装的自动辅助决策恳求，通过云服务总线的中转将消息转发给辅助决策服务。接到恳求后，辅助决策服务通过云服务总线向数据操作服务发送提取监测数据操作恳求(SOAP协议封装的消息)，数据操作服务供应相应服务并以xml格式化数据传给辅助决策服务，最终由辅助决策服务将系综分类结果传回监测主机。  　　(4)监测主机接收到全部预打印数据后，将数据xml格式化通过云服务总线传给自助打印服务，自助打印服务提取数据，经过表格标准化、饺验、备份，添加打印掌握命令，传回监测主机实施打印结果.  　　(5)监察主机可以通过云服务总线监察整个云服务的行个方面，并拥有修改、增加、终止个服务的权限。  　　3、实例应用与分析  　　为了验汪设计