Hadoop性能调优程序.ppt

Capcity Scheduler一个关键问题 如何选择合适的作业去执行 为队列定义了一个指标—队列中正在运行的任务数与其应该分得的计算资源(配置文件中为此队列分配了相应数量的资源，而实际中该队列可能没有分配到)之间的比值。当系统中出现空闲的task tracker，算法会首先选择一个该比值最低的队列。 队列被选中后，将按照作业优先级(如果支持的话)和提交时间顺序选择执行的作业。 在选择作业的时候，还需要考虑作业所属的用户是否已经超出了他所能使用的资源限制。 此外，还会考虑task tracker内存资源是否满足作业的要求。 Capcity Scheduler内存管理 内存资源的有效管理 Capacity Scheduler能有效地对hadoop集群的内存资源进行管理，以支持内存密集型应用。 作业对内存资源需求高时，调度算法将把该作业的相关任务分配到内存资源充足的task tracker上。 在作业选择过程中，Capacity Scheduler会检查空闲task tracker上的内存资源是否满足作业要求。task tracker上的空闲资源(内存)数量值可以通过task tracker的内存资源总量减去当前已经使用的内存数量得到，而后者包含在task tracker向job tracker发送的周期性心跳信息中。 目前，基于内存的调度只能在linux平台下起作用，