Hadoop默认配置参数.pdf

1 获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml 三 个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可 以生效，上网找的配置可能因为各个 hadoop 版本不同，导致无法生效。浏览更多的配置， 有两个方法: 1. 选 择 相 应 版 本 的 hadoop, 下 载 解 压 后 ， 搜 索 *.xml, 找 到 core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的 说明和key，配置hadoop 集群。 2.浏览apache 官网,三个配置文件链接如下: /common/docs/current/core-default.html /common/docs/current/hdfs-default.html /common/docs/current/mapred-default.html 这里是浏览hadoop 当前版本号的默认配置文件，其他版本号，要另外去官网找。其中第 一个方法找到默认的配置是最好的，因为每个属性都有说明，可以直接使用。另外， core-site.xml 是全局配置,hdfs-site.xml 和mapred-site.xml 分别是hdfs 和mapred 的局部配置。 2 常用的端口配置 2.1 HDFS 端口 参数 描述 默认 配置文件 例子值 namenode RPC 交互端口 8020 core-site.xml hdfs://master:8020/ namenode dfs.http.address NameNode web 管理端口 50070 hdfs- site.xml :50070 hdfs dfs.datanode.address datanode 控制端口 50010 :50010 -site.xml datanode 的RPC 服务器地 dfs.datanode.ipc.address 50020 hdfs-site.xml :50020 址和端口 datanode 的HTTP 服务器和 dfs.datanode.http.address 50075 hdfs-site.xml :50075 端口 2.2 MR 端口 参数 描述 默认 配置文件 例子值 mapred.job.tracker job -tracker 交互端口 8021 mapred-site.xml hdfs://master:8021/ tracker 的web 管理端 job 50030 mapred-site.xml :50030 口 task-tracker 的HTTP mapred.task.tracker.http.address 50060 mapred-site.xml :50060 端口 2.3 其它端口 参数 描述 默认 配置文件 例子值 secondary NameNode web 管理端 dfs.se