大数据分析系统架构之探讨.docVIP

.word可编辑. . 专业.专注 . TOC \o 1-3 \h \z \u 前言: 3 一、Hadoop生态圈： 3 Hadoop 4 HBase 5 Hive 6 Apache?Pig: 6 Impala： 7 Flume： 7 Sqoop: 8 Chukwa： 8 Mahout: 8 Hama: 8 Giraph： 9 Storm： 9 ZooKeeper： 9 Ambari: 9 Oozie： 9 Cloudera?Hue： 9 二、Spark生态圈： 10 Spark： 10 Spark SQL： 11 Spark Streaming： 12 MLLib： 13 GraphX ： 14 SparkR ： 14 Tachyon： 15 Mesos: 16 Yarn: 16 BlinkDB ： 17 三、结构化数据生态圈： 18 DBSync： 18 OLAP 19 HANA 19 Spark与Hadoop的对比 19 Spark与Hadoop的结合 20 Spark的适用场景 20 案例： 20 大数据分析系统架构之探讨 前言: 对于大数据平台，本人也没实际实践过，所以，做为一个初学者的身份与大家探索这个问题，如有欠妥之处，请多多包涵！ 首先，先让我们来看看大数据平台架构的集装箱里可有哪些零件。 ZookeeperHadoopmysqlHivePig Zookeeper Hadoop mysql Hive Pig Hbase Y Yarn Tachyon Tachyon Spark Mesos Mesos BlinkDBchukwa BlinkDB chukwa sparkR sparkR KafkaStormsqoop Kafka Storm sqoop Flume Flume Mahout Mahout Shark \o Apache Hama \o Apache Hama Hama Ambari Ambari Impala Impala \o Apache Oozie Oozie \o Apache Oozie Oozie \o Apache Giraph Giraph \o Cloudera Hue \o Cloudera Hue Cloudera?Hue Oracle Oracle SAP DbsyncHANA Dbsync HANA Greenplum Greenplum OLAP OLAP MongoDB MongoDB 一、Hadoop生态圈： 数据计算平台： Hadoop Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。HDFS是Hadoop分布式文件系统（Hadoop Distributed File Sys tem）的缩写，为分布式计算存储提供了底层支持。采用Java语言开发，可以部署在多种普通的廉价机器上，以集群处理数量积达到大型主机处理性能。HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode和多个DataNode。NameNode作为master服务，它负责管理文件系统的命名空间和客户端对文件的访问。NameNode会保存文件系统的具体信息，包括文件信息、 文件被分割成具体block块的信息、以及每一个block块归属的DataNode的信息。对于整个集群来说，HDFS通过NameNode对用户提供 了一个单一的命名空间。DataNode作为slave服务，在集群中可以存在多个。通常每一个DataNode都对应于一个物理节点。DataNode负责管理节点上它们拥有 的存储，它将存储划分为多个block块，管理block块信息，同时周期性的将其所有的block块信息发送给NameNode。 ? 下图为HDFS系统架构图，主要有三个角色，Client、NameNode、DataNode。 在Hadoop的系统中，会有一台master，主要负责NameNode的工作以及JobTracker的工作。JobTracker的主要职责就是启 动、跟踪和调度各个Slave的任务执行。还会有多台slave，每一台slave通常具有DataNode的功能并负责TaskTracker的工作。 TaskTracker根据应用要求来结合本地数据执行Map任务以及Re