《面向大数据的Docker共享计算系统设计》16000字.docx

目录

PAGE5

目录

PAGEII

面向大数据的Docker共享计算系统设计

摘要

针对现如今使用大数据工具成本较高、总体部署效率较低，规模扩展能力较差等问题，提出利用近年来比较流行的Docker容器虚拟化技术来进行快速构建轻量级别大数据工具PaaS平台的低成本解决方案。结合Web平台开发，设计出一个大数据PaaS平台系统，减少硬件资源浪费、为用户提供便捷、轻量和可扩展性高的大数据集群环境。

平台实现重点研究开源Docker、Kubernetes和Hadoop大数据等相关技术，在现有共享容器镜像资源的基础上，对镜像容器进行二次开发配置，利用Kubernetes去管理容器，实现大数据集群环境的快速部署，为用户提供分布式存储和计算能力，计算包括词频统计和二度好友推荐实例。本平台提供的Hadoop集群环境具有轻量、高效以及方便部署的特点，在一台普通的服务器中使用Docker容器化技术部署大数据环境的效率至少是在一台全新的服务器中部署大数据环境的几十倍甚至是上百倍以上。并且利用Docker部署的环境具有高可扩展性，系统可结合用户量和用户需求对本身进行合理化的扩展。

关键词：Docker，Kubernetes，PaaS平台，大数据，集群服务

目录

TOC\o1-3\h\z\u摘要 I

目录 III

第一章绪论 1

1.1课题背景 1

1.2课题价值及意义 1

1.3课题的国内外研究现状 1

1.3.1国外研究现状 1

1.3.2国内研究现状 1

1.4本课题的主要工作 1

第二章相关技术基础 2

2.1前后端技术 2

2.1.1Vue.js渐进式框架 2

2.1.2Java编程语言 2

2.1.3SpringBoot框架 2

2.1.4MyBatis-Plus工具包 3

2.1.5MySQL数据库 4

2.2容器技术 4

2.2.1Docker容器化技术 4

2.2.2Kubernetes 5

2.3大数据相关技术 5

2.3.1Hadoop框架 5

2.3.2Redis数据库 6

2.4本章小结 6

第三章系统需求分析 7

3.1市场需求的调研 7

3.2用户功能的需求分析 7

3.3环境选择分析 8

3.4性能的分析 9

3.5本章小结 10

第四章系统设计 11

4.1系统总体设计 11

4.1.1系统总体设计方案 11

4.1.2系统功能模块设计 13

4.2数据库设计 14

4.2.1数据表设计 14

4.2.2数据表详情 14

4.3本章小结 15

第五章系统实现 16

5.1前端用户交互页面 16

5.2前后端分离跨域请求 17

5.3用户模块 18

5.4Hadoop集群模块 21

5.5Hadoop工具实例模块 23

5.5.1词频统计实例 24

5.5.2二度人脉好友推荐实例 24

5.6Mybatis-Plus工具类模块 27

5.7构建Hadoop集群环境容器镜像 28

5.8编写Shell脚本 28

5.9本章小结 30

第六章系统测试 31

6.1用户注册登录功能测试 31

6.2用户集群环境自动化构建测试 33

6.3用户集群环境访问测试 34

6.4Hadoop工具实例使用测试 37

6.4.1词频统计工具实例测试 37

6.4.2二度人脉好友推荐实例测试 37

6.5Kubernetes集群环境测试 39

6.6本章小结 39

第七章总结与展望 40

7.1全文总结 40

7.2未来展望 41

参考文献 43

第一章绪论

PAGE2

PAGE6

第一章绪论

1.1课题背景

随着近几年来互联网应用的快速发展，导致了数据信息量呈爆发式增长，大量的数据整合和聚集现象使得大数据工具的需求量也开始急剧上升，从而加快了“大数据时代”的到来。现如今数据的规模和种类的可以说是喷井式爆发，新型的大数据处理软件开始展露出要跃跃欲试占领市场的苗头，而且数据处理和分析技术也在一直不断地改进ADDINNE.Ref.{9AC89821-30D5-4B07-B106-741244E0829D}[1]。但是硬件资源开销、搭建和部署一个大数据集群环境对于中小企业来说无论是经济上还是技术上都是一