Hadoop大数据技术系列一：BasicHadoop案例.pptx

Hadoop BigData Series ① Basic Hadoop Kyle Apr. 2016 Hadoop CONTENTS 1. Hadoop Introduction 2. Hadoop Ecosystem 1. Hadoop Introduction Hadoop BigData Series Hadoop是一个开源的、可靠的、可扩展的分布式并行计算框架 主要组成:分布式文件系统HDFS和MapReduce算法执行 作者:Doug Cutting 语言:Java，支持多种编程语言，如:Python、C++ 1. Hadoop Introduction Hadoop BigData Series Hadoop是Google的集群系统的开源实现 Google集群系统：GFS(Google File System)、MapReduce、BigTable Hadoop主要由HDFS(Hadoop Distributed File System Hadoop分布式文件系统)、MapReduce和HBase组成 Hadoop的初衷是为解决 Nutch 的海量数据爬取和存储的需要 Hadoop于2005年秋天作为 Lucene的子项目Nutch的一部分正式引入Apache基金会。 名称起源: Doug Cutting儿子的黄色大象玩具的名字 1. Hadoop Introduction Hadoop BigData Series 数据集主要特点 Volume: 数量量从TB到PB级别 Variety: 数据类型复杂，超过80%的数据是非结构化的 Velocity:数据量在持续增加(两位数的年增长率) 其他特征 数据来自大量源,需要做相关性分析 需要实时或者准实时的流式采集,有些应用90%写vs.10%读 数据需要长时间存储,非热点数据也会被随机访问 1. Hadoop Introduction Hadoop BigData Series 2. Hadoop Ecosystem Hadoop BigData Series Hadoop Hdfs MapReduce Yarn 2. Hadoop Ecosystem Hadoop BigData Series Hadoop Hdfs MapReduce Yarn Zookeeper HBase Pig Hive Oozie Sqoop Cassandra Avro Ambari Chukwa Spark Hue Flume Kafka Mahout 2. Hadoop Ecosystem Hadoop BigData Series 组件简介 1 Apache ZooKeeper 主要是用来解决多个分布式应用遇到的互斥协作与通信问题，大大简化分布式应用协调及其管理的难度。 分布式、开源的协调服务 2 Apache Hbase 高可靠性、高性能、面向列、可伸缩。可在廉价PC Server上搭建大规模结构化存储集群。 分布式存储系统 3 Apache Pig 提供类SQL类型语言，该语言的编译器会把用户写好的Pig型类SQL脚本转换为一系列经过优化的MR操作并负责向集群提交任务。 基于Hadoop的大规模数据分析工具 4 Apache Hive 将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MR统计，适合数据仓库的统计分析。 基于Hadoop的一个数据仓库工具 2. Hadoop Ecosystem Hadoop BigData Series 组件简介 5 Apache Oozie 用于管理和协调运行在Hadoop平台上各种类型任务（HDFS、Pig、MR、Shell，Java等）。 工作流引擎服务 6 Apache Flume 可用于日志数据收集、处理和传输，功能类似于Chukwa，但比Chukwa更小巧实用。 分布式日志数据聚合与传输工具 7 Apache Mahout 提供了大量机器学习算法的MR实现，并提供了一系列工具，简化了从建模到测试流程。 基于Hadoop的分布式程序库 8 Apache Sqoop 将一个关系型数据库（MySQL 、Oracle 、Postgres等）中的数据导入Hadoop的HDFS中，也可以将HDFS的数据导入关系型数据库中。 数据相互转移的工具 2. Hadoop Ecosystem Hadoop BigData Series 组件简介 9 Apache Cassandra 用于存储简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身。 一套开源分布式NoSQL数据库系统 10 Apache Avro 用于大批量数据实时动态交换，它是新的数据序列