《Hadoop技术原理》课件——2.pptx

Hadoop技术原理

Hadoop环境设置

模式

概念

特点

用途

单机模式

Hadoop默认模式

1.没有分布式文件系统HDFS

2.MapReduce处理的是本地Linux的文件数据

一般仅用于本

地MapReduce

程序的调试

伪分布模式

是在单机上，模拟一个分布式的环境

具备Hadoop的主要功能

常用于调试程序

完全分布式模式

也叫集群模式，是将

Hadoop运行在多台机器

上，各个机器按照相关配

置运行相应的hadoop守

护进程

在多台机器上运行，是真正的分布式环境

常用于生产

01三种安装模式

·三种安装模式和特点

文件名称

配置项

配置值

hadoop-env.sh

JAVA_HOME

/home/hadoop/jdk1.8.0_171

三种安装模式

·三种安装模式的配置差异单机模式配置项

02

文件名称

配置项

配置值

含义

hadoop-env.sh

JAVA_HOME

/home/hadoop/jdk1.8.0_171

JAVA_HOME

core-site.xml

fs.defaultFS

hdfs://hostname:9000

配置NameNode地址,9000是RPC通信端口

hadoop.tmp.dir

/home/用户名

/hadoop/tmp

HDFS数据保存在Linux的

哪个目录，默认值是

Linux的/tmp目录

hdfs-site.xml

dfs.replication

1

副本数

mapred-site.xml

mapreduce.framework.name

yarn

配置yarn表示集群模式,配置local为本地模式

yarn-site.xml

yarn.resourcemanager.hostname

hostname

ResourceManager的主机名

yarn.nodemanager.aux-services

mapreduce_shuffle

NodeManager上运行的附属服务

三种安装模式

·三种安装模式的配置差异伪分布模式配置项

03

文件名称

配置项

配置值

含义

hadoop-env.sh

JAVA_HOME

/home/hadoop/jdk1.8.0_171

JAVA_HOME

core-site.xml

fs.defaultFS

hdfs://hostname:9000

配置NameNode地址，9000是RPC通信端口

hadoop.tmp.dir

/home/用户名

/hadoop/tmp

HDFS数据保存在Linux的哪个目录，默认值是Linux的/tmp目录

hdfs-site.xml

dfs.replication

2

副本数，默认是3

mapred-site.xml

mapreduce.framework.na

me

yarn

配置yarn表示集群模式，配置local为本地模式

yarn-site.xml

yarn.resourcemanager.hostname

hostname

ResourceManager的主机名

yarn.nodemanager.aux-services

mapreduce_shuffle

NodeManager上运行的附属服务

slaves

DataNode的地址

从节点1

DataNode的主机名

从节点2

04三种安装模式

·三种安装模式的配置差异完全分布模式配置项

02

Hadoop安装

01Hadoop安装

·单机模式安装

特点：

没有HDFS、只能测试MapReduce程序

MapReduce处理的是本地Linux的文件数据

安装前的准备工作

0102030405

Linux防火墙JDKssh-server安装包

安装Linux关闭防火墙安装JDK安装ssh-(1)获取安装包

servcer(2)解压

Centos7x64(3)配置环境变量

02Hadoop安装

·单机模式安装

安装配置过程及测试

测试MapReduce

使用：

hadoop-mapreduce-examples-2.7.3.jar

修改配置

hadoop-env.sh

03Hadoop