Hadoop技术在移动支付行业应用.docVIP

Hadoop技术在移动支付行业应用 　　【摘要】 科学技术及互联网的发展，推动着大数据时代的来临。文章介绍了中国移动集团公司在移动互联网支付系统建设中成功运用Hadoop技术的典型案例。案例采用了Hadoop云计算技术，实现了分布式数据和计算框架，对海量数据进行分布式并发计算，提升了系统并行处理能力，减少了处理等待时间，满足了移动支付多样化及第三方支付平台接入的需要，系统健壮性也得到了极大的提高。 　　【关键词】 中国移动 Hadoop HDFS MapReduce 移动支付 调度引擎 任务引擎Application of Hadoop technology in mobile payment industry 　　Liang Minghuang Wu Hang 　　[Abstract] With the development of science and technology and the Internet， the advent of the era of big data. This article introduces the typical cases of the successful application of Hadoop technology in the construction of the payment system of China Mobile group. In this case the Hadoop cloud computing technology， realize the distributed data and computing framework， distributed concurrent computing on massive data. Through the mechanism of Hadoop， we are able to enhance the ability of parallel processing， to meet the demand of mobile payment， to diversify the payment platform access need， system robustness has also been greatly improved. 　　[Key words] China Mobile Hadoop HDFS MapReduce Mobile payment Scheduling engine Task engine 　　引言 　　科学技术及互联网的发展，推动着大数据时代的来临。“互联网+”的创新模式使得传统行业与互联网融合发展，形成了更广泛的以互联网为基础设施和实现工具的新经济发展模式，也使得大数据的处理越来越引人注目。 　　Hadoop技术，在大数据分析以及非结构化数据蔓延的背景下，一出现就受到众多大公司的青睐。迄今为止，Hadoop在互联网领域已经得到了广泛运用，例如，Yahoo 使用4 000个节点的Hadoop集群来支持广告系统和Web 搜索的研究；Facebook 使用1 000 个节点的集群运行Hadoop，存储日志数据，支持其上的数据分析和机器学习；百度用Hadoop处理每周200TB 的数据，从而进行搜索日志分析和网页数据挖掘工作，等等。 　　本文介绍的是中国移动某子公司在移动互联网支付系统建设中（简称移动支付系统），成功运用Hadoop技术的典型案例。 　　一、Hadoop是什么 　　Hadoop是一个由Apache基金会所支持的用Java实现的开源分布式数据和计算框架，在由大量计算机组成的集群中实现了对海量数据进行分布式计算。允许用户在不了解底层细节的情况下，使用分布式程序。充分利用集群的威力进行高速运算和存储。 　　Hadoop框架的核心，是HDFS和MapReduce。HDFS为海量数据提供存储，MapReduce为海量数据提供计算。 　　1.1 HDFS简介 　　整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储支持，。 　　HDFS采用主从（Master/Slave）结构模型，由一个NameNode和若干DataNode组成的。存储在 HDFS 中的文件被分成块，然后将这些块分散到多个DataNode中。NameNode负责管理文件系统命名空间和客户端对文件的访问操作。DataNode管理存储的数据。 　　1.2 MapReduce简介 　　MapReduce框架由一个JobTracker（调度引擎）和多个TaskTracker（任务引擎）共同组成。JobTracker负责调度构成一个作业的所有任务，这些任务被分发到空闲的TaskTra