电力用电信息采集系统中的mapreduce作业性能优化研究软件工程专业论文.docxVIP

山东大学硕士学位论文3．3．2 山东大学硕士学位论文 3．3．2 短作业的任务执行过程 ．21 3．4资源重用的短作业优化实现 ．22 3．4．1 任务进程端心跳消息 ．22 3。4，2二级任务调度器 。23 3．5实验与分析 ．26 3．5．1 作业完成时间 ．26 3．5．2 资源的利用率 ．29 3．6本章小结 ．29 第4章基于推测的落后任务优化 30 4．1 引言 ．30 4．2落后任务识别 ．31 4．2．1 任务进度评估 ．．3l 4．2．2 落后任务识别模型 ．32 4．3推测执行策略 ．．33 4．3．1 落后任务处理策略 ．33 4．3．2 副本任务的调度 ．36 4．4 实验 ．38 4．4．1 落后任务识别模型的准确性 ．38 4．4．2 作业运行时间 ．39 4．5本章小结 ．．40 第5章基于分治策略的时间约束作业调度 ．．42 5．1 引言 ．42 5．2分治策略 ．43 5．3任务调度计划 ．43 5．3．1 任务划分 ．44 5．3．2 任务矩阵 ．45 5．4时间约束的作业调度算法 ．45 5．4．1 资源的公平性 ．45 万方数据 山东大学硕士学位论文5．4．2 山东大学硕士学位论文 5．4．2 抢占策略 ．46 5．4．3 时问约束作业调度算法 ．48 5．5 实验 ．49 5．5．1作业完成数 ．50 5．5．2 抢占次数 ．50 5．6本章小结 ．51 第6章总结与展望 52 6．1 总结 ．52 6．2展望 ．52 参考文献 54 致 谢 57 攻读学位期间发表的学术论文目录 58 万方数据 山东大学硕士学位论文CoNTENT 山东大学硕士学位论文 CoNTENT Abstract in Chinese ·I Abstract in English III Chapter 1 Introduction 1 1．1 Background ． ．．．． ． ．． ． ．1 1．2 Related Works ． 2 1．2．1 Short Jobs ． ．．． ． ．．．．．．．．．．．． ．．．．．． ． ．3 1．2．2 Straggler ．4 1．2．3 Deadline．Aware Scheduling．． ．．．．． ．．．．．． ． ．． 5 1．3 Research Contents ．．． 5 1．4 Thesis Organization Structure ． 6 Chapter 2 MapReduce Framework And Task Performance Model．······． 7 2．1 Introduction ．7 2．2 Load-Aware MapReduce Framework． ． ． ．．8 2．3 Task Performance Model ．11 2．4 PerformanceEstimationModel ofNode ．．12 2．5 Experiments ．． ··13 2．5．1 Experiments Environment 14 2．5．2 Accuracy OfTask Performance Model． ．．．．．．． ． ．．．．．．．．．．．．． ．．14 2．5．3 Resource Utilization ．15 2．6 Summary 17 Chapter 3 Short Jobs Optimization Based On Resource Reuse 18 3．1 Introduction 18 3．2 Process OfTask Execution 19 3．3 Computing Framework For Short Jobs．．．．．．．．．．．．．．．．．．．．．．．．．． ．．． ．．．20 3．3．1 Computing Framework For Short Jobs 2l 万方数据 山东大学硕士学位论文3．3．2 山东大学硕士学位论文 3．3．2 Process Ofm坞k Execution For Short Jobs 21 3．4 Optimization Implementation For Short Jobs 22 3．4．1 Heartbeat On Task Process Side ．．22 3．4．2 Sub—scheduler 23 3．5 Experiments．．．．．．．．．．．． ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． ．． ．．．．．：16 3．5．1 Jobs CompletionTime ．．26 3．5．2 Resource Utilization ．．29 3．