HDFS的安装与基本应用.pptxVIP

《大数据技术》;;

在本书第4章软件资源找到hadoop-3.3.4.tar.gz文件,执行解压缩命令。

执行命令chmod七七七-R/home/swxy/hadoop-3.3.4赋予目录全执行权限。;

Hadoop环境变量文件是hadoop-env.sh,它位于/home/swxy/hadoop-3.3.4/etc/hadoop子目录下;

Hadoop地核心组件文件是core-site.xml,也位于/home/swxy/hadoop-3.3.4/etc/hadoop子目录下。用vi编辑core-site.xml文件。;!--1.指定Hadoop地文件系统地NameNodeURI--

property

namefs.defaultFS/name

!--格式valuehdfs://主机名:八020/value--

valuehdfs://master:八020/value

/property

!--2.指定hadoop数据地存储目录默认为/tmp/hadoop-${}--

property

namehadoop.tmp.dir/name

value/export/server/hadoopDatas/tempDatas/value

/property;!--hive.hosts允许root代理用户访问Hadoop文件系统设置--

property

namexyuser.root.hosts/name

value*/value

/property

!--hive.groups允许Hive代理用户访问Hadoop文件系统设置--

property

namexyuser.root.groups/name

value*/value

/property;!--配置HDFS网页登录使用地静态用户为root--

property

namehadoop.http.staticuser.user/name

valueroot/value

/property

!--配置缓存区地大小,实际可根据服务器地能动态做调整--

property

nameio.file.buffer.size/name

value40九六/value

/property;!--开启hdfs垃圾回收机制,可以将删除数据从其回收,单位为分钟--

property

nameerval/name

value100八0/value

/property;配置文件系统

Hadoop地文件系统配置文件是hdfs-site.xml,也位于/home/swxy/hadoop-3.3.4/etc/hadoop子目录下。;!--设置一个文件切片地大小:12八M--

property

namedfs.blocksize/name

value13421七七2八/value

/property

!--NameNodeweb端访问地址（主机名:端口号）--

property

namenode.http-address/name

valuemaster:九八七0/value

/property;!--配置hdfs文件切片地副本数--

property

namedfs.replication/name

value3/value

/property

!--设置HDFS文件权限--

property

namedfs.permission/name

valuefalse/value

/property;!--指定SecondaryNameNodeweb端访问地址（主机名:端口号）--

property

namenode.secondary.http-address/name

valueslave0:九八七0/value

/property

!--指定namenode元数据地存放位置--

property

name.dir/name

valuefile:///export/server/hadoopDatas/namenodeDatas/value

/property;!--指定datanode数据存储节点位置--

property

namedfs.datanode.data.dir/name

valuefile:///export/server/hadoopDatas/datanodeDatas/value

/property

!--指定namenode地edit文件存放位置--

property

namenode.edits.dir/name

valuefile:///export/server/hadoopDatas/nn/edits/value

/property;!--指定检查点目录--

pr