微环境监测平台存储系统的设计与实现.pdfVIP

摘要

随着现代社会的不断发展，人们越来越多的关注小范围内的环境特征及环境变

化。为满足对小范围内环境监测的需要，本文设计并开发了一套微环境监测平台。

针对平台高速缓存、高并发量、读写分离以及实时性等性能要求，本文面向微环境

监测平台设计开发了一套存储系统。本文针对微环境监测平台与海量数据存储之间

的问题进行研究，研究内容大致分为以下三点：

（1）高并发数据接口设计本文设计高并发数据接口并实现服务端程序，通

过采用线程池技术，以合理的线程数达到最大的数据处理量，并利用Http接口，完

成网关与服务端之间数据传输与接收工作。

（2）基于读写分离的数据库存储方案设计与优化根据平台不同业务数据对

存储方面的不同要求，本文分别设计了增加读库和数据缓存两种读写分离的存储方

式，其中增加读库的方式是采用MongoDB数据库作为主库，多个MySQL数据库作

为读库；数据缓存方法是采用Redis数据库作为内存数据库实现缓存，实现平台的高

并发与实时性的性能要求。另外本文根据数据库存储数据的不同特点分别对MySQL

数据库和MongoDB数据库设计不同的优化方案，提高数据库的利用率，减少资源浪

费。

（3）数据存储中间件的设计与实现结合微环境监测平台数据存储的需求分

析以及平台的具体业务，提出一套适合本平台业务的数据存储中间件的设计方案，

并从垂直分片和水平分片这两个方面对该方案进行详细设计，最大程度的提高微环

境监测平台的查询效率。

实验结果表明，当平台存取海量数据时，整个平台运行稳定，存储效率高，数

据存取正常，能够保证平台数据的实时性，本文所设计的存储方案具有一定的可行

性与有效性。同时对本研究进行了总结，结合实际需求，提出了平台设计的改进思

路，为课题今后进一步深入研究提供参考。

关键词微环境监测；读写分离；MySQL；Redis；MongoDB；中间件

I

Abstract

Withthecontinuousdevelopmentofmodernsociety,peoplepaymoreandmore

attentiontotheenvironmentalcharacteristicsandchangesinasmallrange.Inorderto

meettheneedsofsmall-scaleenvironmentalmonitoring,thisthesisdesignsanddevelops

amicro-environmentmonitoringplatform.Aimingattheperformancerequirementsof

platformcache,highconcurrency,read-writeseparationandreal-time,thisthesisdesigns

anddevelopsastoragesystemformicro-environmentmonitoringplatform.Inthisthesis,

theproblemsbetweenmicro-environmentmonitoringplatformandmassdatastorageare

studied.Theresearchcontentscanbedividedintothreeparts:

(1)Designofhighconcurrencydatainterface.Wedesignahighconcurrentdata

interfaceandimplementstheserverprogram.Byusingthreadpooltechnology,the

maximumdatap