基于Hadoop的市政设施监控大数据分析.docVIP

基于Hadoop的市政设施监控大数据分析 　　摘 要：在目前市政设施监控过程中，有效地应用大数据分析技术，不但可以提高监控的整体效果，同时还能够实现监控数据的快速处理，为市政设施监控提供完善的技术支持和技术保证。结合当前大数据技术的发展实际，Hadoop作为一种有效的大数据技术，在市政设施监控中能够得到有效的应用，对满足市政设施监控需要和提高市政设施监控效果具有重要作用。为此，应对Hadoop概念及内容进行全面分析，并了解和掌握Hadoop的体系架构，最后根据Hadoop技术实际，构建基于Hadoop的市政设施监控系统。 　　关键词：Hadoop 市政设施监控 大数据 　　中图分类号：TP31 文献标识码：A 文章编号：1674-098X（2016）10（b）-0076-02 　　Hadoop作为一种有效的大数据技术，在数据处理和网络系统中得到了有效的应用，对提高大数据分析处理效果具有重要作用。根据Hadoop技术的概念及内容实际，掌握Hadoop的体系架构特点，对于构建大数据处理系统是十分重要的。结合市政设施监控系统的数据处理需求，应用Hadoop构建市政设施监控系统，对于提高市政设施监控系统的运行效果和满足市政设施监控系统的数据处理需要具有重要意义。为此，应开展Hadoop大数据系统的研究。 　　1 Hadoop的概念及内容 　　Hadoop是一个用java语言实现的软件框架，在由大量计算机组成的集群中运行海量数据的分布式计算，它可以让应用程序支持上千个节点和PB级别的数据。Hadoop是项目的总称，主要是由分布式存储（HDFS）、分布式计算（MapReduce）等组成。 　　Hadoop作为一种有效的大数据处理技术，其主要优点分为4个方面。 　　1.1 可扩展 　　Hadoop技术在实际应用过程中，可以根据所构建系统的需求进行必要的扩展。具体功能可以在原有大数据处理的基础上进行增减，以满足所构建系统的实际需求为准。这一功能是Hadoop的主要优势，扩大了Hadoop技术的应用范围。 　　1.2 经济 　　Hadoop技术在应用过程中，整体应用成本较低。由于Hadoop具备了较好的可扩展性，在系统的构建中可以作为基础技术进行应用，在Hadoop基础上有效接入其他系统，避免了系统重建导致的资源浪费，有效地提高了系统的构建效果。 　　1.3 可靠 　　Hadoop技术在多年的应用过程中，被证明是一种可靠的大数据处理技术。这种技术不但可以有效地提高数据的处理速度，同时还能与其他系统进行无缝对接，提高信息数据的处理能力，满足系统运算和数据处理需要。因此，较高的可靠性保证了Hadoop能够得到有效应用。 　　1.4 高效 　　Hadoop技术的突出优点是数据处理速度较快。其不但可以在较短的时间内加快数据处理速度，同时也会根据系统的现实需求制定个性化的数据处理模式，提高系统的响应速度，保证数据处理速度能够达到预期目标，提高数据处理的整体效果。 　　2 Hadoop的体系架构 　　从Hadoop技术的应用来看，通常Hadoop的体系架构比较特殊，除了要设定功能模块之外，还要使模块具备一定的接入特性。 　　具体的功能模块特点如下。 　　Pig是一个基于Hadoop的大规模数据分析平台，Pig为复杂的海量数据并行计算提供了一个简易的操作和编程接口。 　　Chukwa是基于Hadoop的集群监控系统。 　　Hive是基于Hadoop的一个工具，提供完整的sql查询功能，可以将sql语句转换为MapRedce任务进行运行。 　　ZooKeeper是高效的、可扩展的协调系统，存储和协调关键共享状态。 　　HBase是一个分布式文件系统，有着高容错性的特点。 　　MapRedce是一种编程模型，用于大规模数据集的并行运算。 　　基于对Hadoop的了解，Hadoop在体系架构中用到了多种辅助工具和子系统，在整体体系结构上并不复杂，实现难度较低，具备了与其他系统有效集成的优点。在功能系统构建过程中，基本能够满足实际需求，对降低系统构建难度具有重要作用。 　　同时，Hadoop在体系架构中采取了分层架构的方式，这种模式不但具有一定的突出性，同时还能够解决功能系统构建过程中存在的系统接入问题。对降低功能系统的接入难度和提高功能系统的接入效果具有重要作用。因此，利用Hadoop构建大数据分析系统是重要措施。 　　除此之外，Hadoop具备了与其他系统对接的优势，可以在系统构建过程中，根据系统的实际特点和功能需要，构建相对应的大数据处理系统，提高系统的数据处理能力，保证系统在数据处理过程中，能够在整体有效性上得到全面提升。 　　3 基于Hadoop的市政设施监控系统的构建 　　基于Hadoop的特点以