基于Hadoop平台大数据应用系统架构设计思想.docVIP

基于Hadoop平台大数据应用系统架构设计思想 　　[摘 要]在常规的数据平台设计中，其数据存储量相对较小，并且存在查询数据时间长等缺点，难以满足现阶段的使用需求，在此情况下，需要建立基于Hadoop云平台的大数据应用系统，以此来提升信息的处理以及存储效率。本文主要探究基于Hadoop平台的大数据应用系统架构设计，通过总体设计、功能设计、联网平台设计以及数据库设计来实现系统的整体功能，从而提升大数据系统的设计质量以及管理需求。 　　[关键词]Hadoop平台；大数据；应用系统 　　中图分类号：S996 文献标识码：A 文章编号：1009-914X（2018）10-0176-01 　　前言 　　在传统的卡口信息处理中，其对信息处理的需求相对较低，因而仅仅需要存储数天的数据资料，但是随着社会的发展，人们逐渐提升了对信息的查询速度以及存储量需求[1]，在此情况下，传统的数据平台技术已经难以满足使用需求。因而需要通过Hadoop云平台的大数据应用来设计系统，以此来提升数据的存储和查询效率。 　　1 总体设计方案 　　在系统的设计与改造过程中，需要通过三个方面的工作来完成，其主要表现在以下几个方面：第一，在系统的设计中，需要对存储系统的硬件进行升级，扩大计算速度以及空间，将硬件设施池化；第二，需要对软件系统进行设计，主要体现在数据库的升级[2]，且通过Hadoop技术来确定接口标准，提升系统的稳定行。第三，在系统的设计中，需要对软件设施进行设计，包括数据接收服务器。另外，在卡口的设计中，需要将其与各级子系统进行连接。在卡口的设计中，需要通过云计算联网平台将多个卡口服务器以及数据库连接起来，同时通过服务器将分级卡口接入到平台中，将提升整体的服务质量。 　　2 平台功能设计 　　在卡口系统的联网平台功能设计中，其需要实现以下功能，以便保证系统的运行效率。（1）需要对服务器进行升级，增加数据库接口，对各个分级的数据进行整合处理；（2）加入Hadoopbase数据库系统，将各分级系统信息存储到平台中；（3）在平台增加卡口数据服务器，提供查询和检索服务；（4）增加开发工具，实现卡口数据统一授时等功能；（5）实现系统的云计算安全以及服务等相关功能模块。 　　在系统的功能设计中，第一层属于基础设施资源层，在设计过程中，对传统的平台进行改造，增加计算以及存储服务器，同时扩充存储量，在对系统软件升级的基础上，实现对信息资源的整合，同时通过池化处理，可以为系统的基础资源进行扩充。 　　系统第二层属于软件资源层，在设计过程中，运用分布式数据局以及Linux技术进行设计，可以实现数据的加载以及存储等功能，通过该平台层，可以将数据存储带分布式数据库，且在该系统中添加存储模块以及查询模块等多个模块，全面的实现系统的总体功能。在系统的管理模块设计中，其包括日志管理系统、对象事务管理以及远程管理等多个模块，通过Hadoop云平台资源配置来实现功能。系?y的加载存储模块分为并行数据加载以及ETL等模块，其主要是实现数据并行加载和处理的功能，以此来实现数据的存储。 　　3 联网平台设计 　　在联网平台的设计和改造过程中，其主要需要对设施资源层、平台软件资源层以及软件数据资源服务层三个等级进行设计和改造，其具体表现如下： 　　3.1 平台软件资源层设计 　　平台软件资源层主要是提供数据并行加载等功能，该层主要分为系统管理、并行加载存储、并行查询、数据字典以及备份恢复等几个模块，在系统的设计中，增加并行加载模块主要是为了实现核心功能，采用Hadoop分布式文件存储系统，通过分布式计算来处理数据，可以实现对分级信息的存储管理。在系统的设计中，需要建立Hadoop分布式文件系统，HDFS是存储的基础，具有较高的吞吐率，NameNode模块具有负责处理读写功能的模块。 　　3.2 基础设施资源层的设计 　　在系统的设计过程中，需要对系统的资源层进行设计，在设计过程中，需要对硬件进行升级和设计，增加服务器的数量和存储量，以便增加网络传输质量。在硬件的升级要求中，对于硬件的设计，需要满足存储硬件和服务器的设计需求，在设计过程中，同时存入3个副本来实现冗余，每月硬盘处理空间约为19.2T，而半年预计需要120T存储空间。在硬件升级中，需要通过Hadoop来实现节点数据存储以及执行功能。 　　在软件升级方面，需要对物理资源、虚拟服务器以及平台系统进行综合升级管理。通过软件升级，可以实现分布式计算，轻松的处理大量的数据，其性能要求如下：（1）可靠性。（2）扩展性。（3）高效性；（4）高容错性。（5）低成本。 　　3.3 数据资源服务层设计 　　在平台的设计中，对于关键点数据接口的设计中，需要对服务器以及数据库进行升级，其主要体现在以下两个方面：第一，