Hadoop数据平台分析02.pdf

Hadoop数据分析平台 第2周 2012.8.25 DATAGURU专业数据分析网站 参考书 2012.8.25 DATAGURU专业数据分析网站 2 参考书 2012.8.25 DATAGURU专业数据分析网站 3 准备与配置安装环境  安装虚拟机和linux ，虚拟机推荐使用vmware ，PC可以使用workstation ，服务器可 以使用ESXi ，在管理上比较方便。ESXi还可以通过拷贝镜像文件复制虚拟机，复制后 自动修改网卡号和ip ，非常快捷。如果只是实验用途，硬盘大约预留20-30G空间。  以Centos为例，分区可以选择默认，安装选项选择Desktop Gnome ，以及Server、 Server GUI即可。其它Linux ，注意选项里应包括ssh ，vi （用于编辑配置文件），perl 等（有些脚本里包含perl代码需要解析）  到Oracle官网下载java jdk 安装包，并且进行安装 2012.8.25 DATAGURU专业数据分析网站 4 三种运行模式  单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途  伪分布模式：在单节点上同时启动namenode、datanode、jobtracker 、tasktracker 、secondary namenode等5个进程，模拟分布式运行的各个节点  完全分布式模式：正常的Hadoop集群，由多个各司其职的节点构成 2012.8.25 DATAGURU专业数据分析网站 5 伪分布式模式的安装和配置步骤  下载并解压Hadoop安装包，为了和教材一致，选用了0.20.2版本  进入Hadoop的解压目录，编辑conf/hadoop-env.sh文件（注意0.23版后配置文件的 位置有所变化）  编辑conf目录下core-site.xml、hdfs-site.xml和mapred-site.xml三个核心配置文件  配置ssh ，生成密钥，使到ssh可以免密码连接localhost  格式化HDFS  使用bin/start-all.sh启动Hadoop  使用bin/stop-all.sh关闭Hadoop 2012.8.25 DATAGURU专业数据分析网站 6 下载Hadoop 2012.8.25 DATAGURU专业数据分析网站 7 解压hadoop 2012.8.25 DATAGURU专业数据分析网站 8 Hadoop配置有关文件 2012.8.25 DATAGURU专业数据分析网站 9 修改hadoop-env.sh文