由于数据采集设备的不断发展,人们可以非常方便地获得各种.PDFVIP

由于数据采集设备的不断发展，人们可以非常方便地获得各种各样的数据； 在这些数据中有一类特殊的数据-流数据，越来越受到更多的人的关注。流数据 可以定义为一个连续、随时间变化、无限的一个数据项系列。生成流数据的应用 包括传感器网络、股票交易、数据网络、通讯以及安全监督等。以通讯网络的监 控为例，交换机每秒需要处理大量的连接；一般来说，对于每次呼叫交换机都会 生成一个CDR 记录。对于这些应用生成的大量数据，我们可能无法使用现有的 存储设备进行保存，即使保存再次提取出来的开销也很大；因此，这就要求对流 数据处理的算法是单遍扫描的。当我们无法把所需数据全部放到内存中，而用户 的查询却关心过去很长一段时间的数据时就出现了采用流数据的概要或统计信 息来生成查询结果的问题。 由于流数据具有时间上的连续性特点，相邻的数据之间会存在一定的相关 性；利用流数据的相关性，我们可以进行数据的预测。比如一个包含服务电话号 码的 Web 页面短时间内的访问量非常大的时候，我们推断电话咨询的人也会马 上增加。在欺诈和安全监控应用中，我们往往对于不同时间到达的数据赋予不同 的权重；这是因为最新的数据和预测结果具有更强的相关性。在这些应用中，系 统需要同时处理多个数据流；因此，每个数据流可利用的资源是有限的。针对流 数据的在线处理，如何在概要或统计信息中保持对于不同时段数据的重要性是一 个非常具有挑战性的问题。 小波(Wavelets)技术在数据管理和数据挖掘中得到了广泛的应用，主要包括选 中率估计、近似查询处理、降维以及流数据分析。滑动窗口模型(Sliding Window) 被认为是数据流中一个非常重要的模型，它使得许多对资源需求无限的操作可以 在滑动窗口的限制条件下实现。 本文主要利用小波和滑动窗口技术，设计了一种多分辨率的概要数据结构－ 多分辨率概要树；对用户最感兴趣的数据在 MRST 中可以进行增量维护，支持 用户所需要的点、范围和多点查询需要，并且确保查询的精度要求。最后作者利 用合成数据和实际数据对算法进行了实验，结果表明该算法具有比现有的算法具 有更高的查询精度以及更好的适应性；同时在算法实现上也比其它算法简单。 在下一步的工作中，我们主要研究多数据流情况下的集成概要监控技术以及 如何利用监控技术来提高DSMS 的可用行和可靠性的问题。