基于Hadoop商业数据可视化分析模型研究.docVIP

基于Hadoop商业数据可视化分析模型研究 　　摘要：信息科技时代，电子商务给人类生活带来极大便利的同时也产生了大量的商业数据，如何存储和管理这些数据，挖掘其潜在价值已成为各大电商研究的重要方向；随着数据量的爆炸性增长，传统的关系型数据库系统已无法满足大规模数据的分析和可视化任务，该文在研究了HDFS的分布式文件存储以及MapReduce的并行化计算的基础上，提出了基于Hadoop平台构建商业数据可视化分析模型的系统方案。通过搭建Hadoop平台，建立Hive数据库，构造分析模型，可视化分析结果展示，研究了Hadoop云平台的搭建过程，实现了Hadoop环境下基于Hive数据库的离线数据分析和数据可视化。 　　关键词：数据可视化；电子商务；Hadoop；Hive；分析模型 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）06-0003-04 　　1 概述 　　当今信息时代，形式各异的信息载体如移动智能设备、电子商务网站等，几乎每时每刻都在产生并传递大量商业数据，数据的背后隐藏着信息，而信息之中蕴含着知识和智慧，及时地发现这些知识并将其应用于现实的生产环境中可以为人们正确分析形势和作出决策提供依据。数据可视化是从大型数据集中以某种概要形式抽提信息，并将其以图形图像的形式表达呈现，是数据的一种视觉表现形式。在商业智能中，决策者通常需要根据历史数据总结出经验教训，以便在未来竞争中处于有利地位。但是人工地从纷繁复杂的数据中抽取关键信息是一件费力费时的工作，相对于从一堆数据中去抽取和抽象出具体信息而言，人类更善于处理图形化的信息，通常能够一眼洞悉图片中所传达的信息，因此数据可视化技术是商业数据分析的不可或缺的一部分。 　　目前，国内已有传统电子商务系统的建设大多采用价格昂贵的大型服务器，数据库采用关系型数据库系统，随着云计算的发展和互联网+时代的到来，数据呈爆炸式增长，传统的单台主机在计算与存储方面也越来越不能满足数据分析处理的需求[4]。由此产生了Hadoop平台技术，该平台技术包括两大核心设计：分布式文件系统HDFS（Hadoop Distributed File System）和并行计算框架MapReduce。HDFS设计部署在廉价的硬件上，成本低且具有高容错性，为海量数据提供存储，MapReduce为海量数据提供并行计算。作为一个开源大数据处理平台，在业界已得到广泛的研究与应用，各大知名企业也大都在各自核心领域运用了此技术。国外著名社交网站Facebook运用Hadoop技术构建了整个网站的数据仓库，国内腾讯、百度和阿里巴巴等互联网知名企业也都采用了Hadoop技术用于海量数据处理分析。可见，研究并使用Hadoop技术解决商业数据的可视化，具有十分重要的意义，本文提出了一种基于Hadoop平台实现商业数据可视化的解决方案并论证其可行性。 　　2 相关研究 　　2.1 Hadoop相关技术 　　Hadoop有狭义和广义之分，狭义的Hadoop通常是指HadoopCore，其包括最底层的分布式文件系统HDFS和并行运算框架MapReduce引擎。广义的Hadoop 通常泛指Hadoop生态系统（HadoopEcosystem），其范畴更广，除了Hadoop本身（HDFS+MapReduce），还包含HBase、Hive、Pig、Sqoop、Mahout和Zookeeper等其他开源工具。 　　1）HDFS框架 　　HDFS[1]存储Hadoop集群中所有存储节点上的文件，主要包含两个功能组件NameNode和DataNode。NameNode管理文件系统的命名空间，存储文件的元数据信息，并维护文件系统树。DataNode存储文件的数据块信息，定期向NameNode发送其所存储的块列表信息。 　　2）MapReduce框架 　　MapReduce[1]是Hadoop下的分布式数据处理模型，主要由JobTracker和TaskTracker组成。Hadoop将作业分成若干个map任务和reduce任务来执行，JobTracker是任务调度器，通过调度TaskTracker上运行的map或reduce任务，来协调系统作业。TaskTracker是任务跟踪器，向JobTracker报告其任务执行情况。 　　3）Hive数据仓库 　　Hive是基于Hadoop的一个分布式数据仓库工具，其数据存储在HDFS上，可以将结构化数据文件映射成一张数据库表，并提供基于SQL的查询语言（由运行时自动翻译成MapReduce作业）用以查询数据。 　　4）HBase数据库 　　HBase是一个分布式的、面向列的非关系型数据库，通过Hadoop文件系统API来持久化存储数据，所有数据都存储