二零二三年 优质公开课Hadoop客户端.pptx

孟繁兴 目录01Hadoop 客户端 Hadoop 客户端1 Hadoop 客户端虽然Hadoop的组件（如 HDFS 和 YARN）在Hadoop集群内运行，但用户和应用程序需要从某个地方访问它们。Hadoop客户端使用Hadoop API来访问集群的存储和处理功能。为了使Hadoop客户端能够使用集群组件（HDFS和YARN)，客户端需要使用Hadoop API，并且还必须配置它，以便它可以与集群中运行的Hadoop组件进行连接。 Hadoop 客户端下图显示了当前的 Hadoop客户端模型，其中客户端可以通过HDFS 和MapReduce（或Hadoop 2中的其他框架)Java API来使用HDFS和YARN。用户通过SSH登录到边缘服务器，并从Linux shell提示符运行命令。主要通过网关或边缘节点使用API。从技术上来说这些节点在Hadoop集群之外。但是，实际上它们被认为是集群内的。 Hadoop 客户端 Hadoop 客户端由于MapReduce的 map和reduce任务使用Hadoop API (hadoop-client)访问集群存储和处理组件，因此可以将它们作为Hadoop客户端。还有Hadoop命令行客户端，以及服务器守护程序也可以作为客户端。命令行客户端包括如下这些: Hadoop 客户端Hadoop shell，也被称为hdfs dfsPig shellSqoop CLI服务器守护程序包括如下这些:OozieSqoop2Hiveserver2Flume agents Hadoop 客户端为了连接到HDFS存储组件，客户端需要联系集群中运行的NameNode服务。同样，为了处理集群中的任何东西，客户端需要联系ResourceManager服务。为了让客户端找到NodeManager和ResourceManager服务以及任何其他集群服务，必须向客户端提供Hadoop 配置文件，例如hdfs-site.xml、mapred-site.xml和 yarn-site.xml文件。 Hadoop 客户端在某些情况下，可能只需要将一些Hadoop配置文件存储在客户端上，但也可以将所有Hadoop 配置文件复制到客户机中。请注意，某些客户端可能需要使用仅适用于它们的特殊配置文件，例如 hive-site.xml和 pig.properties 配置文件。最终用户可以通过命令行界面（如Pig Shell或Sqoop CLI)从自己的机器执行命令，直接访问Hadoop集群的存储和处理组件。通常将一个或多个服务器表示为常见网关服务器，也称为边缘节点。 Hadoop 客户端下图显示了如何设置多个边缘节点，每个边缘节点都运行一组客户端应用程序，如Oozie、Sqoop和Pig，以及诸如Hue的管理接口。用户连接到网关服务器，并从那里执行命令以访问Hadoop集群。用户可以直接或通过浏览器访问网关服务器。拥有专用的边缘服务器是很用的，因为它们确保客户端应用程序和管理工具不与HDFS和YARN竞争资源。 安全管理