基于Hadoop的对俄贸易大数据分析系统研究.docx

??

?

??

基于Hadoop的对俄贸易大数据分析系统研究

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

王丽红+刘平+于光华

摘要：大数据时代下，进出口企业发展出了跨境电子商务或在线国际贸易的新型虚拟网络贸易平台，需要对海量的贸易数据进行收集并完成处理。为了处理这些海量贸易数据，基于Hadoop大数据分析工具设计并实现了对俄贸易大数据分析处理系统，通过它提供的强大的分布式数据处理能力，高效快捷地分析对俄贸易的各种数据。实验表明该系统能够有效地完成对俄贸易数据处理分析，从海量数据中挖掘到有用信息，从而可靠地、高效地对贸易数据进行存储和分析，帮助企业制订营销计划。

关键词：对俄贸易大数据；大数据分析；hadoop；MapReduce

中图分类号：TP319文献标识码：A文章编号：1009-3044（2018）01-0020-03

Abstract：Intheeraofbigdata，importandexportenterpriseshavedevelopedanewvirtualnetworktradingplatformforcross-bordere-commerceoronlineinternationaltrade，whichrequiresthecollectionandprocessingofmassivetradedata..Inordertodealwiththemassivetradedata，LargedataanalysisandprocessingsystemforRussiantradewaswasdesignedandimplementedbasedontheHadoop，throughwhichprovidepowerfuldistributeddataprocessingcapabilities，efficientandquickanalysisonRussiastradeallkindsofdata.ExperimentsshowthatthesystemcaneffectivelycompleteanalysisonRussiastradedataprocessingtotheusefulinformationfromhugeamountsofdatamining，soastoreliablyandefficientlyfortradedataforstorageandanalysis，tohelpenterprisesmakethemarketingplan.

Keywords：BigDataofrussiantrade；BigDataAnalysis；hadoop；MapReduce

大數据时代下，信息数据化的同时，更多的企业利用电子商务开展贸易活动。在更少的时间里获取丰富且具有时效性的数据信息，可以提高企业业务处理能力和贸易交易率，为客户和企业带来双赢的便利。黑龙江省的对俄贸易一直引领全国，在“一带一路”发展战略影响下，我省的对俄经贸合作必将进入新一轮峰值期，如何存储、处理海量的贸易数据并监测市场需求使我们面临的新问题。就当前实际情况引入Hadoop来对海量数据进行分析存储[1]。

Hadoop是Apache基金的一个开源的大数据处理框架，核心部分由HDFS（分布式文件系统）和MapReduce（并行计算模型）两大模块组成[2]，HDFS可以高效地完成大规模数据集的高效存储，MapReduce将应用程序要处理的工作分成若干小块，是开发人员轻松实现分布式应用程序员。二者的集合使用户可以在上层编写分布式程序而不需要了解其底层的细节情况。可以让使用者充分利用集群的优势进行分布式的高速的存储和运算。HDFS与MapReduce的结合使得Hadoop变得更加强大[3]。

本文设计并实现了基于Hadoop的大数据分析系统，用以处理和分析海量的对俄贸易数据，并通过结果为企业提供相关信息。

1基于Hadoop的大数据分析系统架构设计

1.1系统基本架构

基于Hadoop的大数据分析系统按照逻辑分层的方法划分为以下3层[4]，分别是“数据存储层”、“数据处理层”和“应用层”。大数据分析系统架构如图1所示。

数据存储层：利用Hadoop分布式文件系统HDFS，根据数据特点和具体业务需求将数[本文来自于wWw.zz-news.Com]据分类存储。大量历史数据经过HIVE管理存储[5]，需