Chaer厦门大学林子雨大数据技术原理与应用第二章大数据处理架构Hadoo年月日版本.ppt

单机安装配置 Hadoop 2 可以到官网下载，需要下载?hadoop-2.x.y.tar.gz?这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用 Hadoop 2 安装文件的下载 如果读者是使用虚拟机方式安装Ubuntu系统的用户，请用虚拟机中的Ubuntu自带firefox浏览器访问本指南，再点击下载地址，才能把hadoop文件下载虚拟机ubuntu中。请不要使用Windows系统下的浏览器下载，文件会被下载到Windows系统中，虚拟机中的Ubuntu无法访问外部Windows系统的文件，造成不必要的麻烦。 如果读者是使用双系统方式安装Ubuntu系统的用户，请进去Ubuntu系统，在Ubuntu系统打开firefox浏览器，再点击下载 单机安装配置 选择将 Hadoop 安装至 /usr/local/ 中 $ sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中 $cd /usr/local/ $sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop $sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限 Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息： $ cd /usr/local/hadoop $./bin/hadoop version Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。 伪分布式安装配置 Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件 Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件?core-site.xml?和?hdfs-site.xml? Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现 伪分布式安装配置 实验步骤： 修改配置文件：core-site.xml，hdfs-site.xml，mapred-site.xml 初始化文件系统hadoop namenode -format 启动所有进程start-all.sh 访问web界面，查看Hadoop信息 运行实例 伪分布式安装配置 修改配置文件?core-site.xml? configuration property namehadoop.tmp.dir/name valuefile:/usr/local/hadoop/tmp/value descriptionAbase for other temporary directories./description /property property namefs.defaultFS/name valuehdfs://localhost:9000/value /property /configuration name为fs.defaultFS的值，表示hdfs路径的逻辑名称 hadoop.tmp.dir表示存放临时数据的目录，即包括NameNode的数据，也包括DataNode的数据。该路径任意指定，只要实际存在该文件夹即可? 伪分布式安装配置 修改配置文件?hdfs-site.xml configuration property namedfs.replication/name value1/value /property property name.dir/name valuefile:/usr/local/hadoop/tmp/dfs/name/value /property property namedfs.datanode.data.dir/name valuefile:/usr/local/hadoop/tmp/dfs/data/value /property/configuration dfs.replication表示副本的数量，伪分布式要设置为1 .dir表示本地磁盘目录，是存储fsimage文件