数据流上aD-hoc查询的自适应处理.pdfVIP

摘要 在以查询计划为执行模型的数据流持续性查询处理中，大多数的自适应方法假 设查询是预先确定的，因此可以进行全局性的查询计划优化。与预定义查询不同的是， 在实际应用场景中需要对ad-hoc查询的支持。例如对于高速到达的股票数据流，分 析人员会针对市场动态即时提交一些流查询来对最新的数据流进行处理和分析以验 证自己的判断。数据流上的ad-hoc查询的自适应处理需要及时将查询语义更新到现 有的查询计划中以保证已有查询计划的快速在线更新和迁移，同时能自适应不断到达 的查询，防止对己有查询计划的结构性破坏。己有的方法实现新旧查询计划的更新需 要大量的滑动窗口状态转换工作而耗时较长，无法保证较快的查询响应。 为了解决ad-hoc查询的自适应问题，本文首先提出层状查询计划索引来收集已有 查询计划的中间算子输出数据流的分布特性，新的查询若能直接复用己有算子是查询 计划增量更新的关键，该索引能即时返回查询所能匹配的中间算子及其置信度。然后， 根据查询计划评分模型来对索引返回的算子集合进行筛选，计算出能形成最优查询计 划的算子集合并物化到己有的查询计划中，完成查询计划的增量更新。实验表明，本 文提出的自适应方法在内存使用程度和响应延迟上都是优于其它方法的。 关键词：数据流；查询计划；Ad—hoc查询；自适应算法；查询计划更新；算子子图 中图分类号：TP3 万方数据 Abstract Forcontinuous overData is usedasthe quer3，processingStreams，queryplanmainly execution methodsassumeuser arealmost underlying model，manyadaptive queries the notall whichmake analysis predefined globalqueryplanoptimizationpossible．While canbeconfirmedand in isstillneededin time，ad—hoc requirements predictedearly query thestockmarket couldsubmitsome some issues．In practical monitoringarea，analysts ad-hoc over stocktickerstreamsin the querieshighspeed time，whileobservingdynamic andvalidatetheir statusofthe the arrivedstocktickers market，to processnewly prediction the ad—hoc overdatastreamsmustbe analysisresults．Adaptivequeryproces