大数据环境资源整合与智能调度优化.docxVIP

大数据环境资源整合与智能调度优化

目录

内容综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.1.1大数据时代背景介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.1.2资源整合与调度的必要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

1.2.1大数据处理技术进展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

1.2.2资源整合与调度方法综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

1.3主要研究内容．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

1.4技术路线与研究方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

大数据环境概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

2.1大数据概念及特征．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

2.1.1大数据定义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

2.1.2大数据“V”特性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

2.2常见的大数据环境架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

2.2.1分布式计算框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

2.2.2云计算平台．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

2.3大数据环境中的资源类型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．37

资源整合方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

3.1数据资源整合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

3.1.1数据采集与清洗技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

3.1.2数据融合与存储策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

3.2计算资源整合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48

3.2.1节点互联与集群管理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．50

3.2.2虚拟化与资源池化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．52

3.3其他资源整合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．55

3.3.1网络资源整合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．56

3.3.2能源资源整合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．58

智能调度模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．59

4.1调度问题定义与建模．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．61

4.1.1工作负载特征分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．64

4.1.2资源约束条件构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．65

4.2常用调度算法分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．68

4.2.1基于规则的调度方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．70

4.2.2机器学习调度算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．74

4.2.3优化算法应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．78

4.3智能调度系统设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．82

资源整合与智能调度的协同优化．．．．．．．．．．．．．．．．．．．．．．．．．．．84

5.1资源整合对调度的支持机制．．．．．．．．．．