海量数据搬运工.pdfVIP

海量数据搬运工Datastream 顾费勇 2012-11-28 大纲 • Datastream产生的原因 • Datastream的结构和特征 • Datastream关键技术点分享 • Datastream应用场景 • Datastream未来展望 场景1 • BI，xx应用想做下日志的统计分析，收集一 下吧 场景2 • 线上的服务器日志做下分析吧，可能有 DDOS 场景3 • 要拿数据库增量数据，建索引、反攻击、 做分析，写点程序吧 怎么办呢 • 问题:每个产品数据都不相同，不同部门代码 复用率低 • 后果：BI、反垃圾、搜索引擎的同学都要疯了 • 解决方案：我们搞个统一的收集数据的平台吧 Datastream应运而生 • 我们不生产数据，我们是数据的搬运工 大纲 • Datastream产生的原因 • Datastream的结构和特征 • Datastream关键技术点分享 • Datastream应用场景 • Datastream未来展望 什么是Datastream • Datastream是一个数据传输平台，用于连通 数据源和终端用户的桥梁 他最大的作用就是： 让终端用户对数据获取方式透明 让终端用户对数据的格式透明 系统框架 系统特征 特性 说明 搬运节点线性扩展 集群中节点可动态增减，个别节点宕机 不影响集群 数据来源多样化 可支持多种数据源，新数据源支持简单 数据存储终端多样化 可根据产品需要支持不同类型的数据存 储终端 数据分流和复制 根据产品需要对数据进行分流和复制 输出数据格式统一 统一采用结构化JSON 的数据输出格式， 产品端提取数据简单 强大的管理平台 管理平台有各种强大的向导功能 远程控制 所有的Datastream客户端都通过管理平 台统一做远程控制，无需登录服务器 大纲 • Datastream产生的原因 • Datastream的结构和特征 • Datastream关键技术点分享 • Datastream应用场景 • Datastream未来展望 关键技术点 • 一、异构数据源解析 • 二、数据分流 • 三、数据可靠传输 • 四、数据传输效率 一、异构数据源解析 • Datastream从扩展性上来看能支持各种各样 的数据源，目前支持一下数据源： 文本文件 Syslog 日志 