若干数据库前沿技术的理解与思考.pptVIP

数据库研究进展*周傲英 若干数据库前沿技术的理解和思考 周傲英 复旦大学 提纲 当前数据库研究重点的变化 三个重要的数据库研究问题 对等计算环境下的数据管理 流数据管理和挖掘 XML 数据管理和 Web 服务 我们正在进行的工作 当前数据库研究的重点 静止的查询和变化的数据 连续查询（continuous query） 流数据管理和挖掘 受限制的节点处理能力和不受限制的系统动态性 传感器网络上的查询处理、传感器网络数据分析 对等计算环境下的数据管理 数据模式的复杂化和元数据管理的标准化 XML数据管理和交换 Web服务 提纲 当前数据库研究重点的变化 三个重要的数据库研究问题 对等计算环境下的数据管理 流数据管理和挖掘 XML 数据管理和 Web 服务 我们正在进行的工作 P2P 数据管理 – 应用背景 从简单的文件共享向复杂的查询处理功能变化 信息检索：pSearch, PlanetP, PeerIS 数据库查询：PIER, PIAZZA, PeerDB, Hyperion, … 连续查询：PeerCQ, Buddy-CQ, Aurora*/Medusa 从消息传递向内容路由变化 基于 XML 的内容路由 应用场景： 金融、科学计算和数据管理、医疗、… 其它松散耦合的虚拟组织 一些紧耦合，但在地理上分布的数据管理任务 P2P 数据管理 – 主要技术（1） 从数据访问和索引角度看 散列 ? 分布式散列表（Distributed Hash Table, DHT） Chord, CAN, Pastry, Tapestry, Viceroy, … DHT上的区域查询（range query） 基于 LSH 和 Chord 的技术、基于 CAN 的区域查询缓存、… DHT上的关系运算算子的实现 PIER（Berkeley）实现了四种不同的连接算法 树型索引 ? P-tree 可以被用来进行区域查询 P2P 数据管理 – 主要技术（2） 从数据库模式集成和查询语义看 基于视图的数据集成 PIAZZA：模式映射、查询改写和优化 P2P数据库查询的语义 局部关系模型（LRM） 映射表的逻辑语义和实现（Hyperion） 加宽可达快照（dilated-reachable snapshot）语义（PIER） P2P 数据管理 – 主要技术（3） 从元数据管理看 基于标准协议的方式（PIER） 多索引/目录服务器方式 全自治的方式（PeerDB, PIAZZA） 从分布式数据库和分布式查询处理角度看 查询传递（query shipping）、代码传递（code shipping）和代理传递（agent shipping）（PeerDB） 基于DHT的查询处理（PIER, PeerCQ） 突变查询处理（mutant query processing） 提纲 当前数据库研究重点的变化 三个重要的数据库研究问题 对等计算环境下的数据管理 流数据管理和挖掘 XML 数据管理和 Web 服务 我们正在进行的工作 流数据管理和挖掘 – 应用背景 （相对）静态的查询、动态的数据 挑战 和数据量呈线性的时间复杂度 固定大小的内存 单遍扫描数据集 在任意时刻输出是准确、可靠的 模型在任意时间都可以输出 应用场景： 网络监控和交通工程 电信记录管理和分析 商业交易管理和分析 金融信息监控 制造业和供应链工程和工业过程控制 传感器信息监控 Web日志分析 海量数据处理 … 流数据管理和挖掘 – 研究角度 理论分析 一般采用随机算法（randomized algorithms），研究重点是算法的界 联机算法设计 重点是算法在实际数据集上的效率 模型的变化 滑动窗口模型 挖掘模型的变化 研究的重点是及时的模型改变 流数据管理和挖掘 – 主要技术（1） 连续查询处理 系统设计和开发 TriggerMan OpenCQ (Georgia Tech.) Niagara-CQ (Wisconsin Madison) CACQ Aurora (MIT/Brown/Brandies) AdaptiveCQ TelegraphCQ (U.C. Berkeley) STREAM (Stanford) 流数据管理和挖掘 – 主要技术（2） 连续查询算子的实现 各种流水线联接算法的实现 基本数据结构的研究 Sketch 方法（基于散列的技术） 指数直方图（exponential histogram, EH）方法 抽样方法 频繁项/频繁项集挖掘 Sticky sampling/lossy counting 带删除的频繁项集挖掘 Counting Bloom filter方法 考虑 false positive 的方法 流数据管理和挖掘 – 主要技术（3） 流数据聚类