hadoop初级手册.docxVIP

HADOOP 参考文档  HYPERLINK /docs/stable/ /docs/stable/ 下载  HYPERLINK /releases.html \l Download /releases.html#Download 准备工作  HYPERLINK \l _Java部分_1 Java部分  HYPERLINK \l _SSH部分 SSH部分 安装 # 在下载的目录解压 $ tar –xzvf hadoop-1.0.4.tar.gz # 剪切到正式目录 一般是 /hadoop $ mv hadoop-1.0.4 /hadoop 配置 主机改名 # 取一个容易记忆的名字， eg：labhome $ hostname labhome $ vi /etc/sysconfig/network HOSTNAME=labhome $ vi /etc/hosts labhome Hadoop Conf #文件1 $ vi /hadoop/conf/core-site.xml configuration property namehadoop.tmp.dir/name value/hadoop/cache/${}/value /property property name/name valuehdfs://labhome:9000/value /property /configuration #文件2 $ vi /hadoop/conf/hdfs-site.xml: configuration property name.dir/name value${hadoop.tmp.dir}/dfs/name/value /property property namedfs.data.dir/name value${hadoop.tmp.dir}/dfs/data/value /property property namedfs.replication/name value1/value /property /configuration #文件3 $ vi /hadoop/conf/mapred-site.xml: configuration property namemapred.job.tracker/name valuelabhome:9001/value /property property namemapred.local.dir/name value${hadoop.tmp.dir}/mapred/local/value /property property namemapred.system.dir/name value${hadoop.tmp.dir}/mapred/system/value /property property namemapred.temp.dir/name value${hadoop.tmp.dir}/mapred/temp/value /property /configuration #文件4 $ vi /hadoop/conf/masters labhome #文件5 $ vi /hadoop/conf/slaves labhome #文件 6 $ vi /hadoop/conf/hadoop-env.sh export JAVA_HOME=/usr/local/java_xxxxx 格式化 $ cd /hadoop $ bin/hadoop namenode –format 启动 $ bin/start-all.sh 或 $ bin/start-dfs.sh $ bin/start-mapred.sh 测试 # 创建文件夹 $ bin/hadoop fs –mkdir input # 列出文件 $ bin/hadoop fs –ls # 从本地 放一个文件 $ bin/hadoop fs –put /hadoop/test.txt input/ # 查看文件 $ bin/hadoop fs –cat input/test.txt # 删除文件 $ bin/hadoop fs –rmr input/test.txt Hive 参考文档  HYPERLINK /confluence/display/Hive/Home /confluence/display/Hive/Home 下载