流数据降载机制的研究.pdf

流数据降载机制研究 摘要 摘 要 信息技术的发展促进了很多新型应用的出现，这些应用包括网络监控、通信服 务、传感网络等应用。它们需要对海量的数据进行实时处理，及时的将结果反馈给 用户。这些应用产生数据流时的速率经常呈现突发性和波动性。当数据流的输入速 度超过系统的处理速度时，系统将不能有效地处理所有的数据，也即系统此时过载。 此时必须采用相应的降载措施，保证系统具有自适应能力，从而改善系统的整体的 服务性能。 首先，降载时机的选择是降载机制的重点之一。本文通过研究，发现现有的降 载机制在降载时机的确定上存在欠缺之处。故而本文综合考虑了以延迟时间和系统 的处理能力做为降载的标准，提出一种基于延迟时间的降载策略。对于实时性要求 高的应用，此策略可以有效地降低数据处理过程中所产生的延迟时间。 其次，为了有效地提高流数据处理的效率，同时，降低系统对后续查询所造成 的精度损失，本文考虑了一种基于聚类的数据摘要技术，使得系统在克服过载的同 时，最小化原始结果与降载结果之间的差，保证了查询的精度。 再次，传统的串行处理受制于单处理器的最大物理处理速度，而利用并行所提 供的硬件支持可以再一定程度上克服这种速度瓶颈。为了有效地提高算法处理的效 率与速度，本文考虑了并行环境下算法的实施问题。 最后，为了验证降载机制在实际应用场景下的表现，本文将整个机制运用于一 个实际的在线事务日志处理，利用实际的事例来检验降载机制的有效性和实用性。 Shed— 综上所述，本文对数据流降载机制的主要技术，包括数据丢弃技术(Load ding)、数据摘要技术及其相关算法的并行化问题，做了相应的研究，为进一步提高 数据流系统性能提供了理论支持和实验借鉴。 关键词：数据流管理系统、数据流、降载、自适应 作 者：季震宇 指导教师：赵雷 ABSTRACT 流数据降载机制研究 Abstract andmore net- Withthe ofinformation like development technology,moreapplications networneedtodealwitha dealof work service，sensor monitorin，communication great dataonline．The willbelatentdeterioratedandthe cannot the system system provide thedatastreamis the because timelyresponse are needstodo availableresourceslimited．Underthese some