IT十八掌徐培成HADOOP笔记.docxVIP

Hadoop本机集群机器：211212215 216四台对应s100s101s102s103s104Ubuntu204-server-64-2-00100s100 211node1Ubuntu204-server-64-2-01101s101212node2Ubuntu204-server-64-2-02102s102215node3Ubuntu204-server-64-2-03103s103215node3Ubuntu204-server-64-2-04104 s104216node4bigdate海量数据： 1byte = 8bit1024B = 1M 2^101024M = 1G 2^101024G = 1T 2^101024T = 1P 2^101024P = 1E 2^101024E = 1Z 2^101024Z = 1Y 2^101231231024Y = 1N 2^10存储分布式存储计算分布式计算Hadoop(一头大象)Doug cuttingHadoop可靠，可伸缩，分布式计算的开源软件。HDFS 去IOE(IBM+oracle+EMC) MapReduceMR //映射和化简，编程模型推荐Big data 4VVolumn //题量大Variaty //样式多Velocity//速度快Valueless//价值密度低Hadoop的安装：（安装ubuntu系统）安装jdk Ln –s /soft/jdk-xxx jdk配置环境变量JAVA_HOME = /soft/jdkPATH=”…:/soft/jdk/bin”Source /etc/environmentJava –version安装hadoopHadoop.tar.gzHadoopversion配置环境变量HADOOP_HOMEPATH配置hadoop分三个模式：standelone |local//独立/本地模式，使用的本地文件系统Nothing查看文件系统的方式：查看文件系统 hadoop fs –ls /没有守护进程，所有程序运行在同一JVM中，利用test和debug.Paeudo distributed Mode //伪分布模式Fully distributed mode//完全分布式配置 SSH安装ssh$sudo apt-get install ssh生成密钥对Ssh-keygen –t rsa –P ‘’ –f ~/.ssh/Cd ~/.ssh导入公钥数据到授权库中Cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys登录到localhostSsh localhost格式化hdfs文件系统Hadoop namenode -format启动所以进程Start-all.sh查看进程Jps //5 RM NM NN DN 2NN查看文件系统Hadoop fs -ls创建文件系统Hadoop fs –mkdir –p /user/Ubuntu/dataHadoop fs –ls –R /Hadoop包含三个模块Hadoopcommon：支持其他模块的工具模块Hadoop Distributed File System (HDFS)分布式文件系统，提供了对应用程序数据的高吞吐量访问。进程：NameNode 名称节点NNDataNode数据节点DNSecondaryNamenode 辅助名称节点2ndNNHadoopYARN：作业调度与集群资源管理的框架。进程ResourceManager 资源管理—RMNodeManager节点管理器—NMHadoop MapReduce:基于yarn系统的对大数据集进行并行处理技术配置hadoopStandelone/local完全分布式安装：准备5台客户机本人集群机器：211212215 216四台对应s100 s101 s102 s103 s104ip主机名ip主机名Ubuntu204-server-64-2-00 100s100 211node1Ubuntu204-server-64-2-01101s101212node2Ubuntu204-server-64-2-02102s102215node3Ubuntu204-server-64-2-03103s103215node3Ubuntu204-server-64-2-04104 s104216node4安装ssh安装ssh$sudo apt-get install ssh生成密钥对ssh-keygen –t rsa –P ‘’ –f ~/.ssh/cd ~/.ssh导入公钥数据到授权库中cat ~/.ssh/id_rsa.