基于MongoDB的光纤传感海量监测数据存储方法研究-信息与通信工程专业论文.docxVIP

万方数据 万方数据 独 创 性 声 明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 武汉理工大学或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 签 名： 日 期： 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定， 即学校有权保留并向国家有关部门或机构送交论文的复印件和 电子版，允许论文被查阅和借阅。本人承诺所提交的学位论文（含 电子学位论文）为答辩后经修改的最终定稿学位论文，并授权武 汉理工大学可以将本学位论文的全部内容编入有关数据库进行 检索，可以采用影印、缩印或其他复制手段保存或汇编本学位论 文。同时授权经武汉理工大学认可的国家有关机构或论文数据库 使用或收录本学位论文，并向社会公众提供信息服务。 （保密的论文在解密后应遵守此规定） 研究生（签名）： 导师（签名）： 日期 摘 要 随着现代工业技术的快速发展，重大机械装备运行状态的安全监测愈加必 要，也成为业界研究热点。光纤光栅传感器以其体积小、重量轻、柔韧性好、 耐高温腐蚀、强抗电磁干扰能力等优点，取代传统电测传感器，广泛应用于重 大机械装备状态的智能感知与监测中。如何为这些海量光纤传感监测数据建立 高并发性、高扩展性和高可用性的高效存储系统，为实时监测、信息分析和故 障分析系统提供稳定可靠的数据支持，也成为目前人们关注的关键问题。 本文针对基于光纤传感技术的重大机械装备运行状态在线监测系统的存储 需求，结合配置管理信息与传感监测数据的不同特点，采用传统关系型数据库 和 NoSQL 数据库实现数据的分离存储，并设计实现了多级缓冲机制以满足数据 存储的高效、实时、精准性，较好的缓解了内存与磁盘 I/O 的响应延迟。本文主 要研究工作如下: （1）针对重大机械装备运行状态在线监测系统不同功能模块的应用需求， 结合各类数据特点，将存储分为多级缓存、传统关系数据库系统和 NoSQL 分布 式数据库系统三个部分。采用多级缓存队列实现及时、精准、高效的实时数据 分析与显示；采用传统关系型数据库作为系统数据库，实现具有高一致性，高 结构化特点的配置管理信息的存储；采用 MongoDB 作为综合状态数据库，实现 海量、非结构化的光纤传感监测数据的存储，为机械装备后期生命周期管理打 下良好的数据基础。 （2）光纤传感监测数据的海量、大规模、高并发特点势必对存储系统的高 效、高并发、高响应性能提出较高需求。为协调高响应需求下高速数据接收和 低速磁盘 I/O 延时造成的不一致性，本文设计并实现了一种高效数据接收和多级 缓存模型，该模型采用基于 UDP 通信协议的多线程接收、Socket 缓冲区调整机 制来实现数据接收和解析的异步处理；采用基于表置换机制的多线程技术以及 ADO.NET 的批处理技术，实现对数据库读写的实时性和准确性；采用基于生产 者-消费者算法建立二级数据缓存，实现临界区并发读写互斥。 （3）针对光纤传感监测数据海量、小文件、松散结构的特点，本文从研究 对比传统关系型数据库和 NoSQL 数据库的存储机制和系统性能着手，进行了全 面详尽的可行性分析，从而选择 MongoDB 作为最优存储方案，设计并实现了基 于 MongoDB 的光纤光栅海量传感监测数据的存储模型。同时，根据传感监测数 I 据的海量、只读的实际应用需求，在 MongoDB 自动分片技术的基础上，运用基 于 数 据 操 作 频 率 的 均衡 算法对 MongoDB 高 扩展性 集群 进 行 改 进 ，采用 WebService 通用服务标准，实现了基于 MongoDB 的平台独立、多用户差异化、 高可扩展性的海量数据存储接口。 （4）设计和实现了海量光纤传感监测数据存储系统，并将此系统应用于大 型旋转机械轴承振动监测平台。 通过实验模拟亿级海量数据情况下的压力测试实验和大型旋转机械轴承振 动监测平台在实际生产运行状态下的良好性能，有力证明了论文提出的存储方 法的高效性和稳定性。 关键词：光纤传感，数据存储，监测系统，NoSQL，MongoDB II Abstract With the rapid development of modern industrial technology, safety monitoring of major machinery and equipment operating status has become the industrys research focus and even more necessary. Fiber grat