海洋实时监测数据流处理优化策略分析-analysis of optimization strategy for processing marine real-time monitoring data stream.docxVIP

上海海上海海洋大学硕士学位论文IIII键实现技术，在此基础上，以建设上海海区数字海洋辅助决策系统为例，进行了系统的总体架构设计。新架构由于优化了实时数据存储机制以及基于并行计算理 论进行的数据挖掘匹配机制，所以系统在可靠性、吞吐量、响应时间、资源利用 率以及可扩展性方面都优于先前系统。通过研究国内外的私有云存储机制，研究表明当前主流的数据存储系统一般仅 仅考虑存储节点内硬盘的负载率，但针对海洋实时监测数据的特点：以数据流形 式存在的不间断性及融合多属性信息，以及数字海洋体系已建立传输机制：高带 宽的海洋数据传输专线等特点，本文提出了对私有云内部各节点的多性能指标： 内存负载率、硬盘负载率以及 CPU 负载率等多个参数共同进行监控的机制，该机 制在综合的考虑了私有云子系统内部所有工作服务器的整体工作状态之后，利用 私有云存储的动态负载均衡分配存储机制，将实时的海洋监测数据存储至当前负 载率较低的服务器内。该方法的提出真正的满足了海洋监测数据流存储的要求。通过对国内外数字海洋体系以及辅助决策系统的调查研究，本文发现当前主流 的系统在系统响应时间往往不甚理想，系统生成辅助决策信息的效率问题成为了 当今系统的瓶颈，分析该共性问题，通过分析海洋实时监测数据的具体特点，本 文得出以下结论：由于海洋实时监测数据流的高密集性以及 GPU 并行计算理论技 术发展的趋势，GPU 已经成为了具有多处理核心、高显存带宽，并且擅长处理以流 数据形式存在的高密集性数据问题，所以本文提出了基于 GPU 协同 CPU 并行计算 理论，本文构建的 GPU 协同 CPU 并行计算在利用了 CPU 逻辑计算优势的同时，利 用 GPU 的高显存对监测数据流进行预处理、归一化处理等操作，最终实现在在 GPU 多处理核心内部与国家海洋监测标准数据利用 DTW 算法进行滑动窗口匹配分析。实验结果表明该系统以基本满足对海洋监测数据流存储的优化以及缩短了生 成辅助决策系统的时间，由于国内外针对辅助决策系统没有规范及标准化流程和 算法的现状，所以本研究的贡献意义不仅仅在于优化了处理海洋监测数据的数据 流模型，同时该算法及其思想可以为今后的学者提供理论和实际的借鉴价值。关键字：GPU，私有云存储，并行计算，“数字海洋”辅助决策系统，优化策略 PAGE PAGE IVStudy of Marine Monitoring Data Flow Processing Stategy For OptimizationAbstractAs the ocean decision support system has been completed the overall framework, which include the data sources, such as data from the marine stations and satellites real-time monitoring; the transmission networks, such as far and near ocean data transmission lines and 3G wireless networks; the data receiving stations,such as the ocean central stations. The historical marine monitoring data, whose capacity was almost to 2TB had been stored into the databases.As the historical data is an important record of the marine’s evolution, these data will support the system to generate the decisions. When the marine disaster appeares, it is essential to match these historical data with the real-time monitoring data for generating the decisions rapidly, and another hot issue is about how to save the cost of the storage and matching while ensure that the system will run in high quality.The idea of this paper was from the study of the National Dig