Hadoop集群管理和运维.pdfVIP

LOGO Hadoop集群管理和运维 廖旻可 专注开源技术在线培训 培训调查 ? 1.关注 hadoop集群架构？开发? ? 2.单位业务有集群否？有的话，规模? ? 3.本次培训期望收获? 专注开源技术在线培训 议程 ? 1.hadoop规划,集群安装及配置 ? 2.hadoop配置讲解 ? 3.hadoop集群正式环境快速安装 ? 4.hadoop集群管理 ? 5.hadoop集群调优 ? 6.hadoop运维常见故障 专注开源技术在线培训 讲义 ? 1.hadoop规划,集群安装及配置 ? --Hadoop集群规划初步 硬盘容量 : 日志+时间 400G*3*180 + 预留用户数据 216T 内存 网络带宽 CPU 操作系统 Hadoop版本 Hadoop 1.x/hadoop 2.6 社区版本?发行版? 专注开源技术在线培训 讲义 ? --单机模式 安装 专注开源技术在线培训 讲义 ? --单机模式 core-site.xml 专注开源技术在线培训 讲义 ? --单机模式 mapred-site.xml 专注开源技术在线培训 讲义 ? --单机模式 sudo -u hdfs hadoop namenode -format 专注开源技术在线培训 讲义 ? --单机模式 启动 为什么是这样启动? ? sudo -u hdfs /usr/sbin/hadoop-daemon.sh start namenode ? sudo -u hdfs /usr/sbin/hadoop-daemon.sh start datanode ? sudo -u hdfs /usr/sbin/hadoop-daemon.sh start secondarynamenode ? sudo -u hdfs/usr/sbin/hadoop-daemon.sh start jobtracker ? sudo -u hdfs /usr/sbin/hadoop-daemon.sh start tasktracker 专注开源技术在线培训 讲义 ? --单机模式 hadoop jar /usr/share/hadoop/hadoop- *examples*.jar pi 100 100000000 专注开源技术在线培训 讲义 ? --集群安装 噗-就是那么快! 为什么以前那么复杂? 专注开源技术在线培训 讲义 ? --集群安装 为什么以前那么复杂?理解后的化繁为简 专注开源技术在线培训 讲义 ? --集群模式 遇到的初级问题 专注开源技术在线培训 讲义 ? --集群模式 怎么破? 临时： iptables –F setenforce 0 永久: 修改/etc/selinux/config 文件 将SELINUX=enforcing改为SELINUX=disabled 专注开源技术在线培训 讲义 ? --集群模式 Hdfs状况 专注开源技术在线培训 讲义 ? --集群模式 job状况 专注开源技术在线培训 讲义 ? 2.hadoop配置讲解 hdfs://hadoopmaster:900 定义HadoopMaster的URI