基于分布式技术的“互联网+生态站”大数据平台设计与实现.pdfVIP

摘要 摘要 森林生态站通过对水文、土壤、气象、生物多样性等生态因子进行长期、定位、 连续观测，为森林生态监测、森林生态系统服务功能评价等工作提供了重要的数据源。 近年来，随着生态站建设数量的不断增多和生态监测工作的不断深入，生态站采集数 据的获取方式逐步从手工、半手工的方式发展到基于物联网的全自动采集方式，导致 数据量急剧上升。现有的基于电子表格或小型单用户数据库的数据管理方式很难胜任 现有的大数据量的需求；同时，生态系统服务功能的评价也急需基于多站点协同、联 合分析才能达到，进而也带来了对海量生态数据的存储管理、快速查询、数据分析、 数据可视化和站点数据异常通知等一系列需求问题。 针对生态站在建设和发展过程中存在的一系列需求问题，本文基于生态站建设相 关国家标准，提出了基于分布式技术、大数据技术等为支撑的“互联网+生态站”大 数据平台解决方案，研究内容主要有以下几个方面： 基于大数据技术的多站数据融合存储与管理。本文在MySQL 和Redis 等大数据 技术的支持上，研究了多站数据融合的存储机制，设计了大数据存储方案，实现了数 据的秒级检索，胜任大数据量背景下数据高效存储、高效查询和多样化分析的需求。 基于微服务的分布式架构的研究。本文在Spring Cloud 等分布式组件的基础上， 研究了如何通过分布式技术和大数据技术对生态数据进行高效率查询，并设计了生态 数据存储以及软件开发的分布式解决方案，解决了生态数据利用率低的问题。 根据生态站需求，本文研究了系统开发方案，完成了“互联网+生态站”大数据 平台的开发工作。设计并实现数据快速查询、多站联合对比、数据多样化分析和站点 异常通知等功能，为生态系统服务功能评价奠定了基础，实现了生态站的数据智能化 管理。 目前系统在江西大岗山国家森林生态站和浙江林科院空气站等30 多个生态站的 基础上进行了实验。“互联网+生态站”大数据平台将生态站的数据进行了融合管理并 实现了秒级查询，系统功能完善，实用性方面满足生态站实际需求。 关键词： “互联网+”，生态监测，分布式系统，数据管理，微服务 I 目录 目录 摘要 I Abstract II 1 绪论 1 1.1 研究背景与意义 1 1.2 国内外研究现状 2 1.3 主要内容及结构 3 2 关键技术介绍 4 2.1 Vue.js 前端框架与ECharts 可视化工具4 2.2 Spring Boot 后端服务框架 5 2.3 Spring Cloud 分布式框架 5 2.4 Nginx 反向代理服务器6 2.5 ActiveMq 消息队列6 2.6 Redis 缓存数据库 7 2.7 Docker 容器技术7 2.8 本章小结 8 3 系统需求分析 9 3.1 系统用户分析 9 3.2 系统功能需求 10 3.3 系统非功能需求 12 3.4 本章小结 13 4 系统设计 14 4.1 系统技术架构设计 14 4.2 系统功能模块设计 17 4.3 数据库设计 18 4.3.1 MySQL 数据库设计 18 4.3.2 Redis 数据库设计 23 4.4 大数据存储方案设计24 4.5 接口设计 27 4.6 本章小结 28 5 系统实现 29 5.1 系统架构搭建 29 IV