物联网云服务设计和实现.doc

物联网云服务设计和实现 　　[摘 要] 在当前的数据信息时代，全球以电子方式存储的数据总量正在飞速的增长，2011年全球数据量已经超过1.8ZB。海量数据的存储与快速分析也因此对传统的计算机形成一个严峻的挑战。云计算的快速、高效等特点成为它处理海量数据的优势。 [关键词] 物联网；云计算；大数据 [中图分类号] TP393 [文献标识码] A 文章编号：1671-0037（2014）01-56-2 采用云计算来分析处理物联网数据，把物体本身的信息通过传感器、智能设备等采集后，收集至一个云计算平台进行存储和分析，即是一种良好的解决方案，亦即物联网云服务。 1 设计目标 本文以气象数据为例，实现一种物联网云服务。该设计能够应对气象数据的海量特点，进行高效存取，数据不易丢失，并且以云计算平台为基础对海量数据进行快速的分析计算，处理成有意义的数据。同时，该设计提供云服务接口，方便服务的消费者进行使用。 2 概要设计 本系统主要包含两大功能应用：气象数据检索和气象数据统计。在体系结构上采用SOA架构思想，基于SOA的体系架构主要的优势是便于管理不断增长的大规模信息系统，通过利用基于互联网的服务降低企业间协作的成本[2]。本文将两个服务划分到不同的集群中去，在通过远程调用的方式去访问对应的服务。服务划分之后，对相应的服务采用水平伸缩的方式进行扩展，以此来增强每个服务的处理性能，加快后台计算到前台交互的响应速度。系统架构如图1。 由于气象统计服务涉及的计算量较大，将巨量气象数据调用云计算服务进行处理；而气象检索服务只是单一的数据查询，不涉及统计计算相关的需求，所以直接通过存储层API进行存取操作。 3 详细设计 在气象云服务平台中，服务的访问主要是通过远程调用的方式来实现的。常用的技术手段包括RMI、WebService和OSGI的RemoteService等服务。 3.1 技术选型 3.1.1 RMI技术 RMI允许Java对象存在于多个不同的地址空间，分布在不同的Java虚拟机上。每一个地址空间可以在同一台主机上或者网络上不同的计算机上。使得Java对象能够在不同的JVM之间传递。 3.1.2 WebService技术 WebService是一种跨语言平台的系统间交互标准。在这个标准中，对外提供功能的一方以HTTP的方式提供服务，该服务采用WSDL（Web Servcie Description Language）描述，在这个文件中描述服务所使用的协议，所期望的参数，返回的参数格式等。 3.1.3 OSGI RemoteService OSGI技术是面向Java的动态模型系统，其本质是将Java面向对象的开发方法转向面向组件和服务的开发上去，在服务的处理上使用了生产者消费者模式，通过服务注册表（Service Registry）来管理服务。其优点在于实现类似于硬件的热插拔功能，在无需重启系统的情况下，来完成新功能的扩展和已有功能的移除。 OSGI RemoteService体系结构如图2。 综合比较三种实现方式，RMI和OSGI技术虽然只适用与Java领域，但是服务的响应速度要高于WebService；而使用WebService的主要优势在于它的跨平台处理能力。在评估系统应用时，本文同时还考虑了另外一种潜在需求：虽然目前系统的功能比较简单，然而随着需求复杂度的增加，以后逐渐引入的功能会越来越丰富，需要各个模块之间的解耦和度越来越高，否则在系统重构方面会存在很多棘手的问题。而这也是本文采用OSGI RemoteService的主要原因之一。 4 云计算处理 在对大量气象数据统计服务的云计算处理上，主要使用Hadoop的MapReduce框架来实现。 4.1 MapReduce框架 MapReduce是最早由google提出的并行编程模型，通过采用并行计算的方式来处理海量数据。其核心的操作主要包含两个，Map（映射）和Reduce（化简）。简单地说，MapReduce就是“任务的分解与结果的汇总”。Map把任务分解成多个任务，Reduce把分解后多任务处理的结果汇总起来，得到最终结果。适合用MapReduce处理的任务有一个基本要求：待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理[3]。图3为MapReduce的运行机制。 图示说明： 4.1.1 将数据源所存储的数据记录进行切割，划分成多个split，然后启动云端服务； 4.1.2 MapReduce程序是基于master/slaves的方式来进行部署的，在云端机器中会有一台机器充当master角色，