互联网大数据与传统数据仓库技术比较研究.docxVIP

— PAGE \* Arabic 1 — 互联网大数据与传统数据仓库技术比较研究 互联网大数据与传统数据仓库技术比较研究  韩路  1.Hadoop技术简介  Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，是目前全世界最主流的大数据应用平台。以分布式文件系统（HDFS）和MapReduce为核心的Hadoop，目前已整合了其他重要组件如Hive、HBase、Spark，以及统一资源调度管理组件Yarn，形成了一个完成的Hadoop产品生态圈。  1.1.HDFS  HDFS是一个分布式文件系统，可设计部署在低成本硬件上。它可以通过提供高吞吐率支持大量数据的批量处理，同时支持应用程序流式访问系统数据。  1.2.MapReduce  MapReduce是一种编程模型，用于大规模数据机的并行运算。MapReduce可以将一个任务分发到Hadoop平台各个节点上并以一种可靠容错的方式并行处理大量数据集，实现Hadoop的并行任务处理功能。  1.3.Hive  Hive是用于对Hadoop中文件进行数据整理、特殊查询和分析储存的工具。Hive提供了一种结构化数据的机制，支持类似传统结构化数据库中SQL元的查询语言，帮助熟悉SQL的用户查询HDFS中数据。  1.4.HBase  HBase是一个分布式的、列式储存的开源数据库。HBase不同于传统关系型数据库，适合非结构化数据储存，同时可以为一个数据行定义不同的列。HBase 主要用于需要随机访问、实时读写的大数据。  1.5.Spark  Spark是基于内存计算的分布式计算框架。Spark提出了RDD概念，弥补了MapReduce在并行计算各个阶段无法进行有效数据共享的缺陷。同时，Spark形成了自己的生态系统：SparkSQL、SparkStreaming、MLlib，并完全兼容Hadoop 生态系统。  2.Hadoop平台与RDBMS关系型数据平台优势对比  Hadoop技术平台基于HDFS和MapReduce两大核心组件的技术特性，相对传统关系型数据平台具有以下优势：  2.1.扩展能力  Hadoop技术平台各组件均基于分布式储存和运算的概念，能可靠储存和处理海量数据（PB级）。在不保证低延时的前提下，可提供高吞吐量支持海量数据的运算。对传统数据仓库扩容成本高的限制，Hadoop平台具有运算性能线性扩展的性能，储存与计算能力随集群节点数增加线性递增，同时数据自动分布，不影响原有应用运行。  2.2.储存成本低  基于分布式储存和计算的特点，Hadoop平台对集群内单个节点的配置要求不高，集群性能主要由节点数和网络吞吐率决定。因此Hadoop可大规模部署于普通服务器上，对海量低价值数据的存储拥有极高性价比。  2.3.数据结构多样化  HBase是基于HDFS的NoSQL数据库，支持半结构化和非结构化数据的储存，同时MapReduce和Spark也支持对非结构化的文本文件进行结构化处理和分析，Hadoop平台对多样化数据的应用支持度更高。  2.4.计算效率和数据消耗能力高  基于核心组件MapReduce的分布式计算特点，Hadoop平台可在短时间内批量处理海量数据，适合大批量数据的离线处理和分析。  3.Hadoop平台与RDBMS关系型数据平台劣势对比  由于Hadoop核心组件的一些天生缺陷和整个Hadoop生态系统的成熟度较低，Hadoop平台相对RDBMS关系型数据库存在以下缺点：  3.1.小规模计算任务效率低下  MapReduce分布式计算框架在任务分配时占用较长的启动时间，因此Hadoop 平台对于数据量较小、且需要深度挖掘的任务时，运行效率迅速降低。  3.2.数据修改难度大  由于HDFS设计初衷是提供一次写入、多次读取的功能，不支持数据修改。在进行数据ETL的过程中，对数据的清洗、转换造成很大困难。