CN107038069-CN201710181055-Hadoop平台下动态标签匹配DLMS调度方法.pdfVIP

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 107038069 A (43)申请公布日 2017.08.11 (21)申请号 201710181055.0 (22)申请日 2017.03.24 (71)申请人 北京工业大学 地址 100124 北京市朝阳区平乐园100号 (72)发明人 毛韦　竹翠　 (74)专利代理机构 北京思海天达知识产权代理 有限公司 11203 代理人 沈波 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) H04L 29/08(2006.01) 权利要求书4页 说明书7页 附图5页 (54)发明名称 Hadoop平台下动态标签匹配DLMS调度方法 (57)摘要 本发明公开了Hadoop平台下动态标签匹配 DLMS调度方法，属于计算机软件领域，针对 Hadoop集群节点性能差异大、资源分配随机性、 执行时间过长的问题，本发明提出一种将节点性 能标签(以下简称节点标签)和作业类别标签(以 下简称作业标签)进行动态匹配的调度器。节点 初始分类并赋予原始节点标签，节点检测自身性 能指标生成动态节点标签，作业根据部分运行信 息进行分类生成作业标签，资源调度器将节点资 源分配给对应标签的作业。实验结果表明，相对 于YARN中自带的调度器在作业执行时间上有较 大的缩短。 A 9 6 0 8 3 0 7 0 1 N C CN 107038069 A 权　利　要　求　书 1/4页 1.Hadoop平台下动态标签匹配DLMS调度方法，其特征在于： 集群节点原始分类及其动态分类标签； 集群节点首先需要进行初始分类，根据节点的CPU和磁盘IO性能进行分类；集群中每个 节点都需要单独运行一个指定类型的任务并记录下该节点运行该类作业的时间，根据节点 运行单个任务的时间与集群中所有节点运行时间平均值的大小关系将节点分成CPU型节 点，磁盘IO型节点，普通型节点； 在集群节点运行的过程中，如果一个节点运行部分作业导致负载过大，会对这个节点 的标签进行降级处理，直接降级为普通节点；一个节点初始标签是CPU型标签，节点中运行 CPU型任务，虽然此节点还有部分资源未使用，但是此时环境中节点CPU性能优势已经失去， 为避免这种情况出现，采取动态标签方法，在NodeManager向ResourceManager发送心跳的 时候动态检测该节点机器的CPU和IO使用率，如果超过阈值，就将此节点标签贴上普通标 签，每次发送心跳时都需要进行检测一次，由此实现节点动态标签；此阈值可以在配置文件 中自行配置，如果用户未配置会参照系统默认值； (1)Map执行信息的获取与回传 Hadoop作业通常分成Map阶段和Reduce阶段，通常大作业map数量在上百个甚至更多， 一个作业主要时间是花费在Map阶段的计算上，但是每个Map又是完全相同的执行逻辑，所 以会收集作业运行的第一个map进程的运行信息，这些信息在NodeManager向 ResourceManager发送心跳时传递到调度器中，调度器根据传回的信息进行作业的分类； 企业生产环境中，每天都会运行一些相同内容逻辑的作业，即用户已知作业应所属的 标签，在命令行或者代码中为作业设置作业类型标签，在调度的时候调度器会进行检查，如 果用户已经对作业贴上标签，就省去作业分类的环节，直接进行调度； (2)多优先级队列 为满足不同用户的需求，防止小作业出现“饥饿”现象，采用作业优先级方案；在调度器 中新建5个队列即：