hadoop网盘环境搭建-代码全部过程.docxVIP

题目：Hadoop完全分布式环境下的网盘项目 姓名：王宏磊 学号：201500800546 专业:软件工程 班级：15-01班 手机姓名：苗纯源 学号：201500800524 专业:软件工程 班级：15-01班手机目要求满分实际得分起评分达到题目基本要求50流畅性程序运行过程完整流畅，能清楚说明问题10美观性程序界面美观舒适10回答问题能正确回答老师就代码和程序设计的问题10安装步骤清晰明了10编程风格程序书写正规，程序注释完整规范10总评Part1、安装说明一、虚拟机和linux系统的安装我们选择的虚拟机是VMware Workstation Pro14.0，linux系统的版本是CentOS-6.6-x86_64-bin-DVD1.iso安装虚拟机，运行VMware Workstation Pro14.0，选择合适的安装路径，从网上找到该版本虚拟机的注册码，输入后一直点下一步直到安装完成即可。安装linux系统，打开虚拟机，点击文件-新建虚拟机，选择自定义，下一步，为了防止版本问题，这里选择硬件兼容性为10.x，选择linux系统镜像的路径，设置linux系统的用户名和密码然后点击下一步，处理机数量选择1个即可，内存暂时设置为1g，若以后内存不够可以再修改，网络类型选择NAT，剩下的均为默认设置，一直下一步直到完成。完成之后打开该新建的虚拟机，虚拟机会自动安装linux操作系统，等待其安装。安装完成之后输入用户名和密码登录到linux系统中。关闭防火墙和selinux学习环境可以直接把防火墙关闭掉(1) 用root用户登录后，执行查看防火墙状态。shell命令为: service iptables status(2) 用service iptables stop关闭防火墙，这个是临时关闭防火墙。 (3) 如果要永久关闭防火墙用。chkconfig iptables offselinux是Linux一个子安全机制，学习环境可以将它禁用。用命令vim /etc/sysconfig/selinux打开文件设置SELINUX为disabled。二、Hadoop开发环境的搭建1、3台主机的hostname修改和Ip地址绑定(三台主机均以root用户登录)（1）3台主机的基本网络环境CentOS6，64位，在虚拟机下实现。在虚拟机下安装了一个centos6系统，然后克隆该虚拟机为3个虚拟机，其Ip地址和主机名分别如下：33 hadoop31 hadoop032 hadoop1(2)IP地址与hostname绑定在hadoop主机下，在控制台中输入vi /etc/sysconfig/network，将hostname修改为hadoop，在hadoop0主机下操作类似，将HOSTNAME修改为hadoop0；在hadoop1主机下操作类似，将HOSTNAME修改为hadoop1。在hadoop主机下，输入：vi /etc/hosts，在hosts下添加如下内容33 hadoop 31 hadoop0 32 hadoop1 然后通过scp命令，将修改好的hosts复制到hadoop0和hadoop1的/etc/hosts文件夹下覆盖：scp /etc/hosts root@hadoop0:/etc/hosts scp /etc/hosts root@hadoop1:/etc/hosts（3）测试3太主机之间是否能Ping通在3台主机下分别输入：ping hadoop ping hadoop0 ping hadoop1 如果3太主机都能ping通，那说明前面的配置成功2、SSH免密码登录在hadoop主机下：查看当前用户下(root)是否有.ssh的隐藏文件，如果没有就创建一个命令为mkdir .ssh(2) 生成公钥输入ssh-keygen -t rsa -P (注：最后是二个单引号，表示不设置密码)然后分发公钥到目标机器ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop1ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop0 (注意不要忘记了参数-i)(3)验证SSH是否安装成功，以及是否可以免密码登陆本机ssh localhostssh hadoop0 ssh hadoop1在第一次登陆是需要密码，以后则不要。到此，ssh的免密码登陆完成附: 如果失败，有可能是以下原因(在配置过程中我们遇到的是第一种情况，权限不足)：1、权限问题.ssh目录，以及/home/当前用户 需要700权限，参考以下操作调整sudo chmod 700 ~/.sshsudo chmod 70