多数据流的实时统计监控.pptVIP

StatStream : Statistical Monitoring of Thousands of Data Streams in Real Time 多数据流的实时统计监控 Abstract： 除了单数据流统计(比如：平均值和标准偏差)，我们想知道多个数据流之间的相关性。 股市交易者可能使用类似的工具来获知套利的机会。这篇文章提出了有效的办法来解决这个问题，办法基于离散富立叶转换和一个三级时间间隔层次。 用合成数据和实际金融数据做了广泛的实验，表明本文算法比直接计算方法，效率上要好几个数量级。 计算相关性时，使用一个基于网格的数据结构。 算法是递增的，有固定的响应时间。 1.Introduction： 包含多数据流的应用： 航天飞机，每秒大约20,000个传感器传送数据到控制中心。 美国50000种有价证券，每秒产生100,000笔报价和交易。 1.Introduction： 该类应用的特点： 通过插入新数据来更新 查询（移动平均，标准偏差，相关性）时将数据作为序列而不是集合 由于一个完整的流没有物化，查询将数据作为一个 的数据流。 One pass algorithms are desirable because the data is vast. 阐释大部分是定性的，所以牺牲部分准确性来换取速度是可取的。 本文内容：StatStream，一个数据流监控系统的算法和