使用hadoopconfiguration一些需要注意的细节.pdfVIP

使用Hadoop Configuration一些需要注意的细节 Spark大数据博客 - 使用Hadoop Configuration一些需要注意的细节 我们在使用Hadoop、Spark或者是Hbase，最常遇到的问题就是进行相关系统的配置，比如集群 的URL地址，MapReduce临时目录、最终输出路径等。这些属性需要有一个系统（类）进行管理 。然而，Hadoop没有使用 Java.util.Properties 管理配置文件，也没有使用Apache Jakarta Commons Configuration管理配置文件，而是单独开发了一个配置文件管理类，这个类就是 org.apache.hadoop.conf.Configuration 。它可以解析如下格式的xml文件： configuration property namecolor/name valuered/value /property /configuration 如果想及时了 解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop 我们可以 将所有的配置都写 入这种格式的文件中；Hadoop就是这 么做的，可以参见：core-site.xml、mapred-site.xml以及hdfs-site.xml 文件。Hadoop生态系统中有很多API都需要传进一个 Configuration 对象，我们需要在这个对象中传进一些关于系统的配置。通过 Configuration 1 / 4 使用Hadoop Configuration一些需要注意的细节 Spark大数据博客 - 设置属性的方式主要有以下几种： public void set(String name, String value) public void addResource(String name) public void addResource(URL url) public void addResource(Path file) public void addResource(InputStream in) 通过 set 方法传参只能通过在程序里面进行；而 addResource 方法允许我们将配置写入到文件中 ，然后后面会解析这个文件里面相关的配置。我们也可以同时通过这两种方式进行相关属性的配 置。那么问题来了，同一个 属性通过这两种方式进行配置，最后哪种方式有效？如下： Configuration conf = new Configuration(false); conf.addResource(new Path(/iteblog.xml)); conf.set(color, blue); System.out.println(conf.get(color)); Configuration conf = new Configuration(false); conf.set(color, blue); conf.addResource(new Path(/iteblog/test.xml)); System.out.println(conf.get(color)); 上面两个代码片段主要的区别就是调用 set 和 addResource顺序不一样。大家先猜猜这两个程序的输出。 有趣的是，上面两个代码片段输出的结果一样，都是 blue ！（原理见下面）大家再看看下面代码片段的输出是什么： ############# iteblog.xml ############## configuration property namecolor/name valuered/value /property /configuration ############# iteblog1.xml ############## 2 / 4 使用Hadoop Configu