Data Stream Management System.ppt

Data Stream Management System 数据流管理系统 中国科学院软件室 谭建龙 2002 年12 月 概要 DSMS系统框架 特征抽取 表达式抽取 表达式匹配 硬件加速卡设计 语句感情色彩分析 DSMS简介 DBMS(数据库管理系统) 固定的关系结构 长时间，静态的数据 DSMS(数据流管理系统） 半结构化的数据(xml) 时间有关数据流 DSMS问题 Continuous, unbounded, rapid, time-varying, noisy, unreliable, 连续, 没有边界,大量,时间敏感, 噪声, 缺乏信任, 网络监控的DSMS系统 实际应用 网络监控，信息安全 Network monitoring and traffic engineering 短信通讯，电话纪录 Telecom call records 证券市场，股票、期权 Financial applications 个性Web服务 Web logs and click-streams 其他 Sensor networks Manufacturing processes DBMS 和 DSMS比较 稳定的关系 一次性查询 随机访问 计划性访问 瞬时现象 持续查询 序列访问 预料性差的数据模式 DSMS基本问题 数据流的存储 数据流中查询语言 高性能数据流处理框架 模糊匹配技术 高效规则匹配技术 高效资源管理数据 数据流中数据模型 相关技术－白老师问题 关键词提取问题（处理海量数据） 特征串提取问题（数据缺乏结构） 倾向性的识别问题（实时分析） 敏感信息发现问题（安全应用） 混合时序数据的预测问题（时序查询，金融问题） DSMS框架 现有工作 朱茂盛在做xml,数据库 张华平在做一次扫描分词 Isaac在做特征字串抽取问题 常毅在做语句感情色彩计算 王英在做硬件加速卡 张鑫在做表达式匹配 熊刚在做信息扫描框架 …过滤系统，实时自然语言处理。。。 研究（4）扁平内容扫描框架 扁平检测可以在一次亚线性时间内完成内容检测。 扁平包括两个意义： 把多层协议处理的问题，集中到一层处理 把检测的关键词变化为多种格式，从而模拟多次编码变换的效果 查询语言定义 Semantics for continuous queries Query plans Exploiting stream constraints 查询语言的例子 Total cost of orders fulfilled over the last day by clerk “Sue” for customer “Joe” Select Sum(O.cost) From Orders O, Fulfillments F [Range 1 Day Preceding] Where O.orderID = F.orderID And F.clerk = “Sue” And O.customer = “Joe” 传统的内容扫描 扁平扫描流程 关键词编码变换 扁平扫描框架 性能更高 协议扩展能力更强 编码支持更好 扁平协议分析 当前研究（2）感情色彩分析 一定范围上下文（句）的语义匹配 对关键字的否定、批判等 以字为中心，加入简单的分词 特定分类算法 语句感情色彩分析进展 收集语料 40M正例 20M反例 语句 3000多条正例语句 6000多条反例语句 实现基本SVM分类算法 当前研究（3）硬件加速卡设计 基于（FPGA:可编程)专用芯片 实现并行串匹配算法 针对短文本： 有效时间下限为Log(n) 硬化特定的算法 并行算法描述 DSMS扫描总结 新算法要求 新领域需要 新方向 感谢 白硕-信息安全和证券市场中的机器学习与文本挖掘问题 Jennifer Widom- Stanford University Query Processing, Approximation, and Resource Management in a Data Stream Management System 降低原材料成本 本文反映结束！ 谢谢大家观看！ 同步糖化发酵工艺 ，能耗下降30% * * DSMS Scratch Store Input streams Register Query Streamed Result Stored Result Archive Stored Relations DSMS系统 Register Monitoring Queries DSMS Scratch Store Network measurements, Packet traces Intrusion Warnings Online Performance M