Hadoop数据平台分析第一周.pdf

Hadoop数据分析平台 第1周 2012.8.17 DATAGURU专业数据分析网站 课程目标  能独立熟练完成Hadoop的安装及熟悉Hadoop的配置与管理  熟练地在Hadoop和操作系统以及关系型数据库之前传递数据  能独立制定数据集成方案  熟练地向Hadoop提交作业以及查询作业运行情况  了解Map-Reduce原理，能书写Map-Reduce程序  了解HDFS原理，能熟练地对HDFS中的文件进行管理  能独立完成pig的安装并且利用pig做简单的数据分析工作  能独立完成Hbase的安装和配置  了解Hbase的原理并能进行简单的shell操作  能独立完成Hive的安装和配置  了解Hive的原理及进行HiveQL操作 2012.8.17 DATAGURU专业数据分析网站 2 一个典型的实验环境  服务器：ESXi ，可以在上面部署10多台虚拟机，能同时启动4台  PC ：要求linux环境或windows+Cygwin ，linux可以是standalone或者使用虚拟机  SSH ：windows下可以使用SecureCRT或putty等ssh client程序，作用是用来远程连 接linux服务器，linux下可以直接使用ssh命令  Vmware client ：用于管理ESXi  Hadoop ：使用0.20.2 2012.8.17 DATAGURU专业数据分析网站 3 Hadoop的思想之源：Google  Google搜索引擎，Gmail ，安卓，AppspotGoogle Maps ，Google earth ，Google 学术，Google翻译，Google+ ，下一步Google what ？？ 2012.8.17 DATAGURU专业数据分析网站 4 Google的低成本之道  不使用超级计算机，不使用存储（淘宝的去i ，去e ，去o之路）  大量使用普通的pc服务器（去掉机箱，外设，硬盘），提供有冗余的集群服务  全世界多个数据中心，有些附带发电厂  运营商向Google倒付费 2012.8.17 DATAGURU专业数据分析网站 5 集装箱数据中心  位于 Mountain View ，Calif 总部的数据中心  总功率为10000千瓦，拥有45个集装箱，每个集装箱中有1160台服务器，该数据中心 的能效比为1.25 （PUE 为 1 表示数据中心没有能源损耗，而根据2006年的统计，一 般公司数据中心的能效比为 2.0 或更高。Google 的 1.16 已经低于美国能源部2011年 的1.2 的目标） 2012.8.17 DATAGURU专业数据分析网站 6 Google面对的数据和计算难题  大量的网页怎么存储？  搜索算法  Rank计算问题 2012.8.17 DATAGURU专业数据分析网站 7 倒排索引 2012.8.17