CentOs系统安装文档.docVIP

安装操作系统 RAID 安装Hadoop的机器不要安装RAID, 像IBM的机器内置RAID卡, 不设置无法启动, 建议每块硬盘设置一个RAID 0. HDFS集群没有采用RAID(冗余磁盘阵列)作为datanodes的存储设备(尽管namenode使用RAID来保护元数据不会丢失)。由于HDFS是采用在节点之间块复制的方法，所以RAID提供的冗余机制对HDFS来说是多余的。 此外，RAID 0常用于增加性能，但却比HDFS中用到的JBOD(Just a Bunch Of Disks)要慢，而且JBOD在所有的磁盘之间对HDFS块进行时间片的轮转。具体说，RAID 0读写操作受限于冗余磁盘阵列中最慢的那个磁盘的速度。在JBOD中，磁盘的操作是独立的，所以读写操作的平均速度要大于最慢磁盘的速度。实际应用中，磁盘性能多是可以改变的，即使是同一型号的磁盘。在Yahoo Hadoop Cluster的Benchmark中，测试Gridmix显示JBOD要比RAID 0快10%，另一个测试显示快30%(这里的测试指的是HDFS的写能力。 最后，当一个JBOD配置中的一个磁盘失效，HDFS可以继续操作；但是在RAID中，一个磁盘的失效将会导致整个阵列(节点也一样)变得不再可用。 采集机: RAID 0 操作系统版本 CentOS-6.4-x86_64 所有机器必须统一 安装过程 主机名 为了方便管理及记忆, 主机名命名方式为”cloud+本台机器的IP”, 如IP为”20”则主机名为”cloud120” 设置IP, 配置网络 - 网络连接 - 编辑 - IPv4 - 填写IP地址, 子网掩码, 网关. 勾选”自动连接”后点击”应用” 配置ROOT密码, 初始化为: password1@IDC 手动进行硬盘分区 本机器共三块2T的硬盘, 分别为sda, sdb, sdc 手动创建分区, 创建 - 标准分区 - 创建 创建SWAP交换分区, 分区大小请参照下表 依次创建”/”, “/tmp”, ”/var”, ”/home”分区, 文件系统类型为”ext4”， 注意将“/”分区强制为主分区 根据机器用途“/opt”分区, Hadoop节点机和FTP采集机分配方式不同， 请注意区分： Hadoop的“/opt”分区： 为第二块硬盘创建分区 依次操作所有硬盘 分区完成 采集机“/opt”分区， 若配置raid跳过： 创建”LVM物理卷”, 也可系统安装完成后在终端创建 选择”sda”, “使用全部可用空间”, 点击”确定”完成 依次操作剩下的硬盘 点击创建 - LVM卷组 将全部硬盘挂载到/opt 分区完成 挂载点 建议大小 说明 SWAP 参考下表 交换分区 / 200G 根目录 /tmp 200G 存放临时文件 /var 200G 存放Hadoop生成的日志 /home 200G 系统用户目录 /opt 剩余全部硬盘容量 数据存储目录 /opt n 整个硬盘容量 数据存储目录 SWAP分区说明 内存大于２Ｇ且小于等于８Ｇ，swap分区等于物理内存的大小； 内存大于８Ｇ小于等于16G，swap分区等于物理内存的。０.７５倍。 内存大于16G小于等于64G，swap分区等于物理内存的0.5倍。 内存大于64G小于等于256G，swap分区等于物理内存的0.25倍。 安装模式 选择”Software Development Workstation”模式 存储库选择”现在自定义”. 在自定义库中选择”数据库”, 依次勾选右侧Mysql和PostgreSQL数据库. 选择”服务器”, 勾选”FTP服务器” 等待安装完成 安装完成, 重新引导 创建用户 用户名: codo 密码: password1@IDC 完成后回重新引导 系统设置 关闭selinux # vi /etc/selinux/config 将SELINUX改为disabled 子节点互通配置 # vi /etc/hosts 用户sudo功能设置 # visudo 或者 # vi /etc/sudoers 增加： codo ALL=(ALL) NOPASSWD: ALL 关闭防火墙 关闭防火墙： # service iptables stop 查看防火墙状态 # service iptables status 开机自动关闭防火墙 # vi /etc/rc.local 配置ssh免key(可以不配置) # ssh-keygen -t rsa -P -f ~/.ssh/id_rsa # ssh-copy-id 38 (38是你具体要和谁免key，自己也要和自己设置免key) 配置时间同步 1） 使用已有的NT