Hadoop生态系统简介.pptVIP

培训目标 了解HADOOP生态系统 1 2 3 了解HADOOP应用环境及解决方案 培训目录 Hadoop 的创立和沿革 1 Hadoop的基本概念 2 HDFS基础知识 3 Map/Reduce基础知识 4 Hadoop生态系统介绍 5 培训目录 Hadoop 的创立和沿革 1 Hadoop的基本概念 2 HDFS基础知识 3 Map/Reduce基础知识 4 Hadoop生态系统介绍 5 Hadoop的创立和沿革 起源： 谷歌三大论文 GFS(2003) Sanjay Ghemawat(美国工程院士) (GFS,MR,Bigtable) Howard Gobioff Shun-Tak Leung map/reduce (2004) Dean Jeffrey(美国工程院士) (Adsense,pb,News,Code search) Sanjay Ghemawat Bigtable(2006) Fay Chang Dean Jeffrey Sanjay Ghemawat ... Doug Cutting和Yahoo Lucene - Nutch - Hadoop 培训目录 Hadoop 的创立和沿革 1 Hadoop的基本概念 2 HDFS基础知识 3 Map/Reduce基础知识 4 Hadoop生态系统介绍 5 Hadoop的基本概念 分布式存储HDFS 文件分块 自行备份 分布式计算Map/Reduce 函数式设计 将计算移动到数据 Hadoop解决了什么难题? 移动计算而非移动数据,化整为零,分片处理； 本地化计算,并行IO,降低网络通信 Hadoop 前的数据仓库流程 反馈决策周期！快 ？ 反馈决策粒度! 细 ？ 反馈决策准确性! 准 ？ 反馈总体成本! 廉价 ？ perl,shell,awk Hadoop后的数据仓库流程 反馈决策周期！快 ？ 反馈决策粒度! 细 ？ 反馈决策准确性! 准 ？ 反馈总体成本! 廉价 ？ 持续扩展成本 ？ Hql,Pig,Mapreduce,工作流 培训目录 Hadoop 的创立和沿革 1 Hadoop的基本概念 2 HDFS基础知识 3 Map/Reduce基础知识 4 Hadoop生态系统介绍 5 HDFS基础知识 Rack1 Rack2 NN meta - foo.bar blk1,blk2,blk3,blk4,blk5 DN1 blk1,blk2,blk3,blk5 DN2 blk1,blk4,blk5 DN3 DN4 DN5 blk2,blk3,blk5 blk1,blk3,blk4 blk2,blk4 培训目录 Hadoop 的创立和沿革 1 Hadoop的基本概念 2 HDFS基础知识 3 Map/Reduce基础知识 4 Hadoop生态系统介绍 5 Map/Reduce基础知识 培训目录 Hadoop 的创立和沿革 1 Hadoop的基本概念 2 HDFS基础知识 3 Map/Reduce基础知识 4 Hadoop生态系统介绍 5 Hadoop生态系统介绍 Hive - SQL/MR编译器Pig - Pig-Latin/MR编译器Zookeeper - 分布式协同调度和锁Avro - 接口开发工具HBase - 基于列簇的分布式NoSQLFlume/NG/Scribe - 日志流汇总工具Mahout - 基于MR的算法库Drill/Impala - 内存SQL引擎，Dremel开源实现 Thrift - 接口开发工具 Sqoop - ETL工具 Oozie - 工作流 案例解析：暴风数据组简介 关于我们： 人员规模15人 9开发/4报表/1经理/1运维加开发(Me) 集群接收日志超过2TB/天 7000+任务/日 任务数据吞吐60TB+/天，离线小时数据分析 我们做的： 常规运营数据分析 数据挖掘和用户精分 推荐系统 用户按地域收入年龄性别收入层次划分 广告系统 暴风Hadoop集群架构 使用的Hadoop生态圈 ◇Hadoop 1.0.3基础计算框架 ◇ Hive 离线数据分析 95%任务 ◇ Pig 离线数据分析 ◇ HBase 推荐数据的存储和用户展现 ◇ Mahout 数据挖掘 暴风指数 暴风指数 暴风指数 暴风指数 用到的技术： Hadoop Mahout - NaiveBayes FAQ 1）正对日志增量处理，例如十分钟内 数据处理完毕，需要统计各种数据如何处理？ 问题？ 3）hadoop名字的由来？ 4）Combiners功能？ * 1）正对日志增量处理，例如十分钟内 数据处理完