汉威云平台建设方案.docVIP

汉威云平台建设方案 　　摘 要：通过传感器、大数据及云计算技术的结合，提出一种平台的建设方案来满足对上百万甚至更多的设备进行实时并发的数据采集、监控、存储、分析计算，并能够随着设备源源不断的接入在不降低性能及可靠性的基础上对平台进行扩展。 　　关键词：云;大数据;Hadoop;MongoDB;IOT 　　中图分类号：TP393 文献标识码：A 文章编号：2095-1302（2015）01-00-03 　　0 引 言 　　随着互联网、大数据、云计算、数据挖掘、传感技术、物联网（IOT）的迅猛发展及智能化的应用研究，实时采集任何需要监控、连接、互动的物体或过程等各种需要的信息，与互联网结合，实现物与物、物与人，所有的物品与网络的连接，方便识别、管理和控制已成为目前研究的热点。 　　汉威电子在物联网行业经过十多年的发展，所监测和产生的数据量也是非常庞大的，如何收集并有效利用和管理这些巨量数据从而为用户提供更优质的服务和产品是目前所面临的问题。首先，对上百万甚至更多的设备进行实时并发的数据采集，使用单台服务器已完全无法满足需求;其次，采集到的巨量数据不断的累积，如何安全存储并保证数据不丢失;最后，如何发挥这些巨量数据的作用。大数据和云计算技术的支撑可帮助我们有效的解决以上问题，如何构建平台和运用这些技术解决以上所面临的问题就是本文研究的主要内容。 　　1 前期准备 　　1.1 可行性分析 　　当前IOT市场是巨大的，而且市场还在发展初期，其市场潜力不可估量，系统的市场前景是可行的。大数据带来的智能化应用持续改善着人们工作、生活的方方面面，把人从一般性的简单、重复劳动中解放出来，极大地提高了生产力和效率。汉威电子有传感技术和传感设备，开源大数据框架技术Hadoop、NoSQL数据库技术的快速发展及其在互联网行业的应用为我们提供了技术支撑。因此，从平台的建设风险来分析，平台的建设是可行的。 　　1.2 平台需求分析 　　对平台的需求：提供对各种设备（无论是气体探测器、温度探测器或报警器等）源源不断的数据收集，提供对大数据存储的支撑，提供面向服务的技术框架和研发平台，满足业务组件的灵活插拔、平台资源占用灵活配置等要求。 　　2 技术方案 　　2.1 平台架构 　　平台主要采用集群的架构方式，平台架构图如图1所示，集中多台服务器的并行计算能力来满足大流量、高并发数据的采集、存储及计算需求，使用集群架构使平台具有较高的可靠性和可扩展性，同时可降低建设成本。平台架构后端的主要流程是数据的采集、采集数据的缓存、数据的存储、数据的分析计算，前端主要流程是Web的访问、基本管理数据的访问、采集数据及分析结果数据的访问。 　　图1 云平台架构图 　　数据采集主要采用传感设备、Wi-Fi技术和分布式采集集群进行采集，使用统一的采集入口，采集集群可支持并行接入大量的传感、检测等各类设备，随着设备数量的不断增加，可以通过增加集群的节点数量来扩展集群的性能;采集集群能够保证小部分采集服务器宕机，不影响整个采集服务的正常运行。 　　采集集群采集到的数据会临时存放在高性能的内存型数据库Redis中。为了满足高并发、大数据量存储，平台建立了Redis集群。由于Redis正式版目前还不具备集群特性，我们使用Twemproxy和Keepalived来组建Redis集群。Twemproxy的速度很快，接近直接与Redis通讯的速度，能够很好地管理Redis并对其进行扩容。使用Keepalived实现高可用主备方案，解决Redis集群proxy单点的问题。 　　Redis是内存型数据库，用于临时存放数据，最终数据还是要做持久化存储。MongoDB是一款高性能、开源、无模式的文档型数据库，可满足对数据库高并发的需求、对海量数据的高效率存储和访问的需求、对数据库的高可扩展性和高可用性的需求。此处MongoDB采用经典的Replica Sets+Sharding的集群架构：使用多个Shard服务器，在Shard服务器上使用Replica Sets确保每个数据节点都具有备份、自动容错转移、自动恢复的能力;使用多个配置服务器确保元数据完整性;使用多个路由进程实现平衡，提高客户端接入性能。云平台的数据存储服务会不断扫描Redis并将Redis缓存中的数据存储到MongoDB数据库中。 　　Hadoop集群负责平台大数据量的数据存储及分析计算。Hadoop是一个开源的分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提