滑动窗口上的数据流统计算法.docVIP

维护滑动窗口内的数据流统计 Maintaining Stream Statistics over Sliding Windows 作者：Mayur Datar, Aristides Gionis, Piotr Indyk, Rajeev Motwani 摘要：我们考虑这样一个问题，在一个数据流上维护目前为止最近的N个数据元素的总计以及其他统计变量，我们把这种只考虑最近N个元素的模型称为滑动窗口模型。我们考虑下面这样一个最基本的问题：给定一个位流，我们维护一个计数器，统计目前为止最近N位中值为1的总位数。我们将看到，使用位的存储，我们能在ε的误差内计算出1的位数。对于任意的确定的或者随机化算法，我们也给出了它们的空间复杂度的下确界(matching lower bound)为。我们在此基础上将算法扩展为维护数据流中最后N个正整数的和，并给出了这个更一般问题的复杂度的上确界和下确界。我们也讨论了怎样在滑动窗口模型下利用我们的技术有效计算向量集的Lp(p∈[1,2])范数(Lp norms)。使用我们的算法，可以将很多其它技术引进到滑动窗口模型下，而存储空间需要的额外代价只有，以及ε的精度损失。这些技术包括维护近似直方图，散列表，总计和平均值等统计值。 关键词：统计，数据流，滑动窗口，近似算法 导论 传统的数据库管理系统(DBMS)是在持久稳定的数据集合(persistent data sets)上进行数据管理。然而近来很多应用中出现的数据流的概念，它的数据是无穷无尽的，用数据集合来表示显得不合时宜。数据集合的本质决定了，只有当大部分数据需要频繁的查询但更新相对很少的情况，才适合用数据集合表示。与之形成对比的是，当数据频繁的变动(经常是覆盖原来数据的插入操作)并且没有必要(或者这样做不切实际)对数据进行多次操作时，使用数据流更合适。 对数据流进行管理的诸多挑战中的第一个是，由于数据流的长度是无界的，绝不可能将数据流里所有的数据存储下来。不过对于很多应用程序来说，查询过去的数据还是很重要的。例如，为了侦测假冒信用卡交易，如果我们能够检测出某个帐户近期交易模式和以往交易模式有什么显著不同，这将是非常有用的。为了支持这种查询，我们必须使用有限的存储(主存或者传统的DBMS)，和一些特殊的技术来存储数据流的摘要信息。一般来说，需要在摘要信息的大小和对以往数据的查询的结果的精确度之间要取得一个平衡。 我们考虑在到目前为止数据流的最后N个元素上维护一些统计量的问题。我们把这种仅仅考虑数据流到目前为止最后N个元素的模型称为滑动窗口模型。我们首先得解决这样一个简单的计数问题，它是进行更复杂的统计量维护的基础：给定一个位流，在它的最后N个元素中统计值为1的位的个数。我们将证明，使用位的存储，我们能在1+ε因子的误差范围内估计1的个数。对于任意的确定算法或者随机化算法，我们也给出了它们的空间复杂度的下确界为。我们在此基础上将算法扩展为维护数据流中最后N个正整数的和，并给出了这个更一般问题的复杂度的上确界和下确界。 我们也讨论了怎样在滑动窗口模型下利用我们的技术有效计算向量集的Lp(p∈[1,2])范数(norms)。使用我们的算法，可以将很多其它技术引进到滑动窗口模型下，而存储空间需要的额外代价只是在原来的空间复杂度上乘以，以及ε的精度损失。这些技术包括维护近似直方图，散列表，总计和平均值等统计值。我们这里讨论的技术简单而且容易实现，我们希望我们的技术对实现数据流应用程序是个有吸引力的选择。 1动机，模型和相关工作 有些应用从本质上来说会生成数据流而不是数据集合。例如在电信应用中，电话记录通常是不断生成的，在电话记录上典型的操作是一次检查一条记录或者在最近的一个记录“窗口”上进行操作(比如需要更新客户的帐单信息)，而在这些操作以后，这些电话记录将被归档而不再被查询。例如，Cortes等人在【2】中记载了ATT的长途电话记录，每天包含了1亿个客户的3亿条记录。另一个例子是网络交通工程(network traffic engineering)的应用，它记录了当前网络的运行状况，包括响应时间和带宽等信息，这些数据都是在线生成的，并用来监测和动态调整网络的运行效率【7】【16】。在这个应用中，要处理过去所有的数据是不实际的也是不可能的，因此只能处理最近的一些数据。 还有其他的传统的应用，也有新近出现的应用，数据流能扮演重要而自然的角色，例如web跟踪和个性化(这里数据流是指web日志条目和用户点击流)，医学监测(生命信号，治疗结果以及其它度量)，传感器数据库和金融监管等等，这里列出名字的只是很少的一部分。还有一些应用出于处理效率的考虑，将非流的传统数据用数据流的方法来处理。例如，在数据挖掘的应用中，保存在磁盘上的数据量是如此之大，以至不太可能在数据上进行比较多