基于直方图的数据流降载策略.docVIP

基于直方图的数据流降载策略 　　数据流模型中数据高速流过，现有的存储设备可能无法存储全部海量数据，这就须要对延迟数据采取一定的技术手段来保证系统重新正常运转.使用降载算法，舍弃部分数据，用近似数据源替代精确数据源，可以减缓系统的处理压力，从而为数据流系统的查询操作提供一定保证.为此文献提出在数据流管理系统中进行查询操作时动态地插入和删除降载操作符来解决数据过载的问题.选择降载数据时主要采取两种方法:以随机的方式丢掉一部分数据;根据数据流内容的重要性丢弃一部分相对不太重要的数据.文献提出对于多数据源的数据流要采用分类的方法.使用马尔科夫模型来预测数据流中特征值数据的位置，用贝叶斯决策理论来评判部分数据被删除后的误差.文献提出使用贪心算法来选择要删除的数据，利用矩阵实现对数据精度的控制. 　　用户在进行数据流查询时，用户关注的是数据的变化、分布和多样性.当数据流中数据过载时，必须删除部分数据来换取系统的正常运转.在数据流中，很多数据数值近似或完全相同.这些大量重复出现的数据代表了数据的冗余.使用直方图可以精简数据流中的冗余数据，减少过量数据对系统资源的压力.这里主要研究了利用直方图技术。实现数据流的降载.为了克服现有方法不足，本文提出了基于距离的直方图降载算法. 　　1问题描述 　　数据流中的降载问题是:如何让一个容量有限的缓存尽可能多地容纳实时到达