大数据存储与处理-第四讲.pptVIP

ListStauts 支持PathFilter,可以对文件进行过滤 /jira/browse/HADOOP-4826 /common/docs/r0.20.2/hdfs_user_guide.html#Safemode 包 org.apache.hadoop.conf 构造方法 public Configuration() 调用构造方法Configuration(true) public Configuration (boolean loadDefaults) true: 先加载缺省配置文件，再加载用户指定文件(addResource) core-default.xml,core-site.xml 以及通过addDefaultResource添加的文件名 false:不加载缺省配置文件，需要通过addResource手动添加 后加载的配置会覆盖先加载的配置 除了被指定为final的 public Configuration (Configuration other) 复制other参数信息 Configuration static void addDefaultResource(String name) 添加默认配置文件，配置文件加载的顺序是根据添加的顺序 参数是文件名，文件是在classpath中 void addResource(InputStream in) void addResource (Path file) 本地文件 void addResource(String name) classpath中的文件 void addResource (URL url) Configuration 加载配置文件方法 先加载缺省配置文件，再加载用户定义的配置文件 对于每一个文件只加载一次：第一个在classpath出现的 classpath的目录顺序 $HADOOP_CONF_DIR $JAVA_HOME/lib/tools.jar 如果$HADOOP_HOME目录下有build目录，则添加build下各子目录 $HADOOP_HOME/hadoop-core-*.jar $HADOOP_HOME/lib/*.jar 用户在hadoop-env.sh中定义的$HADOOP_CLASS_PATH 当前作为hadoop jar …参数提交的JAR包 配置文件加载顺序 void set(String name, String value) void setBoolean(String name, boolean value) void setInt(String name, String value) void setLong(String name, long value) void setFloat(String name, float value) void setIfUnset(String name, String value) void setBooleanIfUnset(String name, boolean value) String get(String name) boolean getBoolean(String name, boolean defaultValue) Configuration 设置/获取参数方法 包 org.apache.hadoop.fs 构造方法 public Path (String pathString) public Path (URI aUri) public Path (Path parent, Path child) public Path (String parent, String child) 参数parent指定父目录，参数child指定父目录下的文件或子目录 public Path(String scheme, String authority, String path) scheme：协议类型，譬如hdfs、file、s3 authority：认证信息，譬如user:pwd@host:port path：文件或目录名 如参数不符合RFC2396，则抛出异常 Path int depth() 返回路径的深度 String getName() 返回路径上最后的资源名称 Path getParent() 返回父目录，如果已是根目录则返回null Path suffix(String suffix) 参数suffix给Path增加后缀 返回加完后缀的Path实例 getFileSystem (Configuration conf) 返回该Path所属的文件系统实例 Path 常用方法 包 org.apache.hadoop.fs 构