流数据处理技术在资源监测网中应用.docxVIP

流数据处理技术在资源监测网中的应用摘要随着大数据时代的到来，网络流量急剧增加，对于网络资源监测技术的实时性提出了新的标准：在数据规模大且连续到达的情况下能及时响应用户的请求。传统的网络资源监测中采用先存储后分析的数据处理方式，资源消耗大且处理时间长，在面对大量、高速数据时，不能满足当前应用对处理能力和响应时间的要求。流数据处理技术这种能直接在内存中对大量的动态数据进行持续处理的技术能极大的缩短处理时间，很好的应对这种大量、动态数据对于实时性的要求，近些年来由于其广泛的应用前景得到了众多研究和关注。本文首先分析了流数据目前的理论研究和技术现状，结合海洋监测的应用背景，构建了一个资源监测网的整体框架，引入分布式流数据管理系统作为数据处理引擎以保证处理性能和响应速度。此外，本文针对流数据处理引擎应用在资源监测网中产生的关键问题进行研究：数据流入引擎前的数据异构问题、引擎处理过程中的过载问题、流出引擎后的流数据需持久化问题。对于流数据异构问题，本文参考现有异构数据转换思路，结合流数据处理技术，建立多种适配器来将多源异构数据转换成统一标准的格式，使得转换后的结果能够被流数据管理系统识别。对流速波动引起的过载问题，本文将负载均衡与降载技术结合起来，在保障系统的稳定运行同时降低了由于直接降载带来的数据损失。对于流数据需持久化的问题，本文提出了二次存储的方式，首次存储通过批处理的方式将动态流数据持久化为数据库中的静态数据；二次存储采用一种基于时间多粒度的存储策略对于久远历史数据进行压缩，降低数据库的存储压力。本文的研究立足实际项目，应用流数据处理技术来保证资源监测网的实时性、稳定性，并给出一个具有普适性的解决方案。关键词：资源监测网；流数据管理系统；负载管理；降载ABSTRACTWith the arrive of the age of big data，a sharp increase in network traffic proposes a new standard for network real-time monitoring technology that when data arrives in large-scale continuously ,the system should response to user requeststimely. When the data from network comes，the traditional network monitoringtechnology save it in database and then extracted it from the databasefor processing. This method consumes so many system resources and need such a long time for analysis, that it cannot meet the current application’srequirement of processing power and real-time. Stream data processing technology can continuously process a lot of dynamic data in memorydirectly which greatly reduce the processing time .Therefore, it can meet the real-time requirement of the dynamic data in large scale.In recent years,stream data processing technologyhasarousednumerous studies and concerndue to its wide range of applications.In this thesis,we analyzes current research and technology theory of data stream , build the overall framework of a resources monitoring network , which adoptsdistributed data stream management system as the data processing engine to ensure the processing performance and responsiveness of system.In addition, we study the key is