Hadoop平台搭建配置Hadoop.pptx

大数据计算平台《大数据导论》课程Introduction to big data 平台搭建Hadoop配置Hadoop01 SSH免密登录配置ssh，为了在主节点与从节点之间能够较自由方便的进行多虚拟机管理，所以需要配置ssh，为了在服务器登录其他服务器时能够免密登录。客户机从节点服务器主节点使用SSH用户名@服务器IP密码正确，登录成功告诉客户机要输入的密码123 首先进入根目录，输入命令 ssh-keygen -t rsa 生成密匙对SSH免密登录 使用命令 ssh-copy-id ~/.ssh/id_rsa.pub root@id ，生成公钥验证文件SSH免密登录 将hadoop压缩包上传到虚拟机上并解压缩后在/etc/profile中配置hadoop环境变量 下载Hadoop 查看主机名与id，配置 /etc/hosts 文件下载Hadoop 配置hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves6个文件 a、hadoop-env.sh配置文件，目录为/opt/hadoop-2.6.0/etc/hadoop/ 在hadoop-env.sh文件中将JAVA_HOME路径改为java实际的路径 b、core-site.xml文件 property namefs.defaultFS/name valuehdfs://master:9000/value //master为IP地址或主机名 /property property namehadoop.tmp.dir/name value/usr/hadoop/tmp/value /property?c、hdfs-site.xml文件为hdfs的配置文件 property namedfs.replication/name value1/value /property d、mapred-site.xml文件为mapreduce的配置文件，但原本只有mapred- site.xml.template文件，需要用cp命令将文件重命名为mapred-site.xmle、yarn-site.xml property nameyarn.resourcemanager.hostname/name valuemaster/value /property property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /propertyf、配置slaves文件，将localhost删除后加入本机的主机id 运行Hadoopa、首次安装或使用hadoop之前要先对hadoop进行初始化 b、使用命令 ./start-dfs.sh 在 /opt/hadoop/sbin目录下启动namenode和datanode 运行Hadoopc、使用命令 ./start-yarn.sh 启动resourcemanager和nodemanager d、使用 jps 查看hadoop进程 测试Hadoop 谢谢观看数大义之方， 论万物之据 。受益终身!