面向大规模数据存储的分布式系统智能分片算法.docxVIP

面向大规模数据存储的分布式系统智能分片算法

目录

一、内容概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.1.1大数据时代的数据存储挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.1.2分布式系统在数据存储中的应用．．．．．．．．．．．．．．．．．．．．．．．．．6

1.1.3智能分片算法的重要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

1.2.1国外研究进展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

1.2.2国内研究进展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

1.2.3现有研究存在的问题．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

1.3研究内容与目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

1.3.1主要研究内容．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

1.3.2研究目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

1.4技术路线与论文结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

1.4.1技术路线．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

1.4.2论文结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

二、相关理论与技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

2.1分布式系统基本原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

2.1.1分布式系统定义与特征．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

2.1.2分布式系统架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

2.1.3分布式系统一致性协议．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

2.2数据分片技术概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

2.2.1数据分片定义与目的．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

2.2.2常用数据分片方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

2.2.3数据分片策略评价标准．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

2.3智能算法相关技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

2.3.1机器学习算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．37

2.3.2人工智能技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

2.3.3数据挖掘技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

三、面向大规模数据存储的智能分片算法设计．．．．．．．．．．．．．．．．．．41

3.1系统架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

3.1.1系统整体架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

3.1.2各模块功能设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47

3.2数据特征提取与分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

3.2.1数据特征提取方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．50

3.2.2数据特征分析技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．51

3.3基于机器学习的分片策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．53

3.3.1机器学习模型选择．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．54

3.3.2模型训练与优化．．．．．