二零二三年 优质公开课Hadoop开发介绍.pptx

hadoop开发介绍 目录1hadoop系统介绍2Hadoop开发内容介绍 hadoop系统介绍1 hadoop系统介绍 大数据hadoop系统，针对大数据的核心解决方案，就是分布式处理技术，对海量数据的处理任务，将较大的任务切割成小的任务，在计算机集群上来进行处理，各个小任务处理完成后，将所得的数据结果再整合展示出来，这样对于海量数据的处理，能够实现更高效、更准确的处理。 Hadoop开发内容介绍2 Hadoop开发内容介绍（一）HDFSHDFS提供一套Java API来操作HDFS，包括文件的建立、修改、删除、权限管理等，下面对几个常用的API进行介绍，详细的API接口请参见API文档，可以在${HADOOP_HOME}/share/doc/api/index.html中找到。IOUtils类Hadoop IO的基础类，提供一组静态方法来控制HadoopIO。通过IOUtils类，可以使用java.net.URL类来访问HDFS，同时也可以在标准输入流和输出流之间复制数据。需要注意的是，为了使java.net.URL能够识别HDFS的URL方案(hdfs://namenode:port/)需要在使用前设置URL的流处理工厂类为org.apache.hadoop.fs. FsUrlStreamHandlerFactory。 Hadoop开发内容介绍（二）?static?FileSystem?get(URI uri, Configuration conf)?static?FileSystem?get(URI uri, Configuration conf, String user)第一个方法获取配置文件中设置的文件系统(通过fs.defaultFS设置)的FileSystem实例，默认为本地文件系统；第二个方法根据URI方案获取相应的FileSystem实例；第三个方法则根据URI方案和配置文件获取相应的FileSystem实例，该实例具有给定用户的权限。open方法FileSystem实例通过open方法获取HDFS文件的输入流，该方法返回FSDataInputStream对象，该对象支持随机访问。FileSystem类提供了两种open方法，如下所示：FSDataInputStream?open(Path f)? Hadoop开发内容介绍（三）?mkdirs方法FileSystem的mkdirs方法可以一次性建立全部不存在的目录。FileSystem提供多种mkdirs方法，如下所示：static?boolean?mkdirs(FileSystem fs, Path dir, FsPermission permission)?abstract?boolean?mkdirs(Path f, FsPermission permission)?boolean?mkdirs(Path f)exists方法FileSystem使用exists方法判断文件或目录是否存在，该方法声明如下：boolean?exists(Path?f)listStatus方法FileSystem的listStatus方法返回指定目录或文件的元数据列表，文件或目录的元数据由FileStatus类封装，包含了文件长度、块大小、备份数、修改时间、所有者及其权限等信息。 Hadoop开发内容介绍（四）MapReduce计算模型 在设计MapReduce任务时，首先，要对业务需求进行抽象，将业务分解成一个或多个MapReduce作业。如果业务流程可以分解成一个线性的作业链的应用场合，可以使用MapReduce客户端来控制作业集的有序执行。对于复杂的业务逻辑，可能涉及到作业有向无环图(DAG)的转换，这种转换通常是十分费力的。 Hive、Pig和Cascading可以使用更高级的语言来实现这种转换，开发复杂的MapReduce应用，可以考虑是使用这些工具进行。 Apache Oozie是一个以服务器形式运行的工作流服务，可以控制多个MapReduce作业按设计流程运行。在Oozie中，工作流是一个Action节点和控制流节点组成的DAG。CDH v1.0不包含Hive、Pig、Cascading和Oozie组件，但是兼容Hive0.9.0、Pig0.10.0、Oozie3.2.0及以上版本。