Hadoop的源起与体系介绍Hadoop_v3_01.pdf

Hadoop数据分析平台 第1周 DATAGURU专业数据分析社区 Hadoop数据分析平台第3版课程 讲师黄志洪 法律声明 【声明】本视频和幻灯片为炼数成金网络课程的教 学资料，所有资料只能在课程内使用，不得在课 程以外范围散播，违者将可能被追究法律和经济 责任。 课程详情访问炼数成金培训网站 DATAGURU专业数据分析社区 Hadoop数据分析平台第3版课程 讲师黄志洪 关于本课程的预备知识  Linux ：懂基本操作  Java ：能看懂Java程序 DATAGURU专业数据分析社区 Hadoop数据分析平台第3版课程 讲师黄志洪 3 Hadoop是什么？  面向大数据处理  擅长离线数据分析  分布式文件系统+计算框架  Hadoop不是数据库 ，Hbase才是数据库  Hadoop是一个快速进化的生态系统  Hadoop会使用在哪些行业？ DATAGURU专业数据分析社区 Hadoop数据分析平台第3版课程 讲师黄志洪 4 大数据平台知识路线图 DATAGURU专业数据分析社区 Hadoop数据分析平台第3版课程 讲师黄志洪 5 Hadoop典型职位  运维  Hadoop程序员（M-R ，源代码）  架构师  数据仓库工程师 DATAGURU专业数据分析社区 Hadoop数据分析平台第3版课程 讲师黄志洪 6 课程目标  部署：Hadoop （v1和v2 ），Hbase ，Hive ，Pig ，Mahout  数据集成：Sqoop ，Chukwa ，Flume ，与Oracle、Mysql等关系型数据库集成，与应 用集成，与R等常用数据分析工具集成  掌握HDFS原理和基本操作  掌握Map-Reduce工作原理，知道怎样把M-R算法用于解决实际场景  掌握YARN框架的原理及使用方法，知道怎样写YARN应用程序  能书写基本的Map-Reduce程序，懂得提交作业和对运行状况进行监视  了解整个Hadoop生态系统的各个子产品，知道在大数据平台架构时应该使用哪些产品  具备初步阅读源代码的能力 DATAGURU专业数据分析社区 Hadoop数据分析平台第3版课程 讲师黄志洪 7 典型实验环境（拥有服务器）  服务器：ESXi ，可以在上面部署多台虚拟机，能同时启动3台  PC ：要求linux环境或windows+Cygwin ，linux可以是standalone或者使用虚拟机  SSH ：windows下可以使用SecureCRT或putty等ssh client程序，作用是用来远程连 接linux服务器，linux下可以直接使用ssh命令  Vmware client ：用于管理ESXi  Hadoop ：使用1.x或2.x DATAGURU专业数据分析社区 Hadoop数据分析平台第3版课程 讲师黄志洪