基于Hadoop对俄贸易大数据分析系统研究.docVIP

基于Hadoop对俄贸易大数据分析系统研究 　　摘要：大数据时代下，进出口企业发展出了跨境电子商务或在线国际贸易的新型虚拟网络贸易平台，需要对海量的贸易数据进行收集并完成处理。为了处理这些海量贸易数据，基于Hadoop 大数据分析工具设计并实现了对俄贸易大数据分析处理系统，通过它提供的强大的分布式数据处理能力，高效快捷地分析对俄贸易的各种数据。实验表明该系统能够有效地完成对俄贸易数据处理分析，从海量数据中挖掘到有用信息，从而可靠地、高效地对贸易数据进行存储和分析，帮助企业制订营销计划。 　　关键词：对俄贸易大数据；大数据分析；hadoop；MapReduce 　　中图分类号：TP319 文献标识码：A 文章编号：1009-3044（2018）01-0020-03 　　Abstract： In the era of big data， import and export enterprises have developed a new virtual network trading platform for cross-border e-commerce or online international trade， which requires the collection and processing of massive trade data.. In order to deal with the massive trade data， Large data analysis and processing system for Russian trade was was designed and implemented Based on the Hadoop， through which provide powerful distributed data processing capabilities， efficient and quick analysis on Russias trade all kinds of data. Experiments show that the system can effectively complete analysis on Russias trade data processing to the useful information from huge amounts of data mining， so as to reliably and efficiently for trade data for storage and analysis， to help enterprises make the marketing plan. 　　Key words： Big Data of russian trade； Big Data Analysis； hadoop； MapReduce 　　大?稻菔贝?下，信息数据化的同时，更多的企业利用电子商务开展贸易活动。在更少的时间里获取丰富且具有时效性的数据信息，可以提高企业业务处理能力和贸易交易率，为客户和企业带来双赢的便利。黑龙江省的对俄贸易一直引领全国，在“一带一路”发展战略影响下，我省的对俄经贸合作必将进入新一轮峰值期，如何存储、处理海量的贸易数据并监测市场需求使我们面临的新问题。就当前实际情况引入Hadoop来对海量数据进行分析存储[1]。 　　Hadoop 是 Apache 基金的一个开源的大数据处理框架，核心部分由HDFS（分布式文件系统）和MapReduce（并行计算模型）两大模块组成[2]，HDFS可以高效地完成大规模数据集的高效存储，MapReduce将应用程序要处理的工作分成若干小块，是开发人员轻松实现分布式应用程序员。二者的集合使用户可以在上层编写分布式程序而不需要了解其底层的细节情况。可以让使用者充分利用集群的优势进行分布式的高速的存储和运算。HDFS与MapReduce的结合使得Hadoop变得更加强大[3]。 　　本文设计并实现了基于Hadoop的大数据分析系统，用以处理和分析海量的对俄贸易数据，并通过结果为企业提供相关信息。 　　1 基于Hadoop的大数据分析系统架构设计 　　1.1 系统基本架构 　　基于Hadoop的大数据分析系统按照逻辑分层的方法划分为以下3层[4]，分别是“数据存储层”、“数据处理层”和“应用层”。大数据分析系统架构如图1所示。 　　数据存储层： 利用 Hadoop分布式文件系统 HDFS，根据数据特点和具体业务需求将数据分类存储。大量历史数据经过HIVE管理存储[5]，需要快速查询并响应的数据交给 HBASE 进行存储划分。将整理后的数据保存成文件存放在