二零二三年 优质公开课Hadoop参数调优.pptx

Hadoop参数调优;1. 了解Hadoop参数大全2. 理解作业级别参数调优3. 理解任务级别参数调优;1. Hadoop参数大全2. 作业级别参数调优3. 任务级别参数调优;主要配置文件：?core?hdfs?yarn?mapred?;（1）规划合理的任务数目 在Hadoop中，每个Map Task处理一个Input Split。Input Split的划分方式是由用户自定义的InputFormat决定的，默认情况下，有以下三个参数决定。? mapred.min.split.size：Input Split的最小值 默认值1? mapred.max.split.szie：Input Split的最大值? dfs.block.size：HDFS 中一个block大小默认值128MB? goalsize:它是用户期望的Input Split数目=totalSize/numSplits ,其中totalSize为文件的总大小；numSplits为用户设定的Map Task个数，默认情况下是1.;（2）增加输入文件的副本数 如果一个作业并行执行的任务数目非常多，那么这些任务共同的输入文件可能成为瓶颈。为防止多个任务并行读取一个文件内容造成瓶颈，用户可根据需要增加输入文件的副本数目。 （3）启动推测执行机制 推测执行是Hadoop对“拖后腿”的任务的一种优化机制，当一个作业的某些任务运行速度明显慢于同作业的其他任务时，Hadoop会在另一个节点上为“慢任务”启动一个备份任务，这样两个任务同时处理一份数据，而Hadoop最终会将优先完成的那个任务的结果作为最终结果，并将另一个任务杀掉。;（4）设置失败容忍度 Hadoop运行设置任务级别和作业级别的失败容忍度。作业级别的失败容忍度是指Hadoop允许每个作业有一定比例的任务运行失败，这部分任务对应的输入数据将被忽略；任务级别的失败容忍度是指Hadoop允许任务失败后再在另外节点上尝试运行，如果一个任务经过若干次尝试运行后仍然运行失败，那么Hadoop才会最终认为该任务运行失败。 用户应该根据应用程序的特点设置合理的失败容忍度，以尽快让作业运行完成和避免没必要的资源浪费。;（5）适当打开JVM重用功能 为了实现任务隔离，Hadoop将每个任务放到一个单独的JVM中执行，而对于执行时间较短的任务，JVM启动和关闭的时间将占用很大比例时间，为此，用户可以启用JVM重用功能，这样一个JVM可连续启动多个同类型的任务。 ???6）设置任务超时时间 如果一个任务在一定的时间内未汇报进度，则ApplicationMaster会主动将其杀死，从而在另一个节点上重新启动执行。用户可根据实际需要配置任务超时时间。 （7）合理使用DistributedCache;（1）Map Task调优 map运行阶段分为:Read、Map、Collect、Spill、Merge五个阶段。 （2）Reduce Task调优;1. 常见的Hadoop参数2. 作业级别参数调优3. 任务级别参数调优