基于Spark构建数据分析系统-习题 基于Spark构建数据分析系统-习题 12.4.1 Ambari管理Hadoop集群(1).docVIP

南京第五十五所技术开发有限公司 第 PAGE 21 页 共 NUMPAGES 23 页 大数据处理 Ambari管理Hadoop集群 服务级别的操作（Service Level Action） 进到Ambari的 GUI 页面，并查看Dashboard。在左侧的Service列表中，我们可以点击任何一个您想要操作的Service。以MapReduce2为例，当点击MapReduce2后，就会看到该Service的相关信息，如下图 MapRduce2的Service页面 中间部分是Service 的模块（Component）信息，也就是该Service有哪些模块及其数目。右上角有个Service Action的按钮，当点击该按钮后就可以看到很多Service的控制命令。也就是通过这些Service Action命令，对Service进行管理的。 装完Hadoop的集群后，并不知道这个集群是不是可用。这时候我们就可以运行一个“Run Service Check”。点击这个命令后，就会出现下图的进度显示。 MapReduce Service Check 其实这里就是通过运行一个经典的MapReduce Wordcount实例，来检查MapReduce是不是正常。对于Service Action里面的Start、Stop的含义就是，启停整个集群所有该Service的模块（也就是Service level）。当执行进度页面弹出来的时候，我们可以点击Operations的名字，进而查看每个机器的进度和运行log。如下图 命令执行进度1 命令执行进度2 主机级别的操作（Host Level Action） 首先，我们回到Ambari的Dashboard页面。页面最上面中间的地方有个Hosts，点击这个标签，我们就可以看到Ambari所管理的机器列表。如下图。 Ambari 的机器列表 先看左上角的Actions，点击这个按钮，就可以看到Host level Action 的选项了，其实和Service Level 是类似的，只是执行的范围不一样。如下图。当用户选择All Hosts - Hosts - Start All Components，Ambari 就会将所有Service的所有模块启动。 启动所有Service的所有模块 如果用户选择All Hosts- DataNodes - Stop，Ambari 就会把所有机器的DataNode 这个模块关闭。如下图。 关闭所有的DataNode模块 模块级别的操作（Component Level Action） 上面的图中，我们可以看到Decommisson、Recommission。这些命令其实是自定义的模块级别的操作（Component Level Action）。不过上图中命令一旦执行，就是对多个机器的同个模块执行。 我们现在尝试只对单个机器的一个模块（Component）执行。首先我们回到 Hosts 的页面。这时候点击机器名，我们就会进入到该机器的Component页面。如下图 Component 页面 这时候只要点击每个Component（模块）后面的按钮，就可以看到该模块的操作命令了。例如，我们可以停掉这台机器的DataNode模块。 停止 DataNode 模块 1 停止 DataNode 模块2 主要介绍了如何通过三种级别的Action（操作）管理Hadoop的集群。在Ambari中已经加入了很多自定义的Action去做一些特殊的操作。如果对Hadoop生态圈的软件足够熟悉，就可以尝试更多的 Action。可能有的人会问，Ambari可不可以扩容集群。答案当然是可以的。Ambari可以给自身的集群添加机器（也就是添加Ambari Agent），然后将Service的模块安装在新的机器，也可以把某些模块安装到已有的其他的机器。 Ambari 的维护模式介绍 Ambari提供的Maintenance Mode，是为了让用户在调试或者维护Service的时候，抑制不必要的告警（Alert）信息，以及避免批量操作的影响。对Maintenance Mode 来说，有几个不同级别的设置，分别是Service Level，Host Level，以及Component Level。三种级别之间存在着覆盖关系。下面我会举几个例子来详细说明 Maintenance Mode 的应用场景。另外注意，在Ambari 的WEB GUI上面会用一个照相机的图标，标记打开Maintenance Mode的模块、机器或者Service。 Component Level