美团技术学院 - 美团网数据仓库的演进.pdfVIP

美团数据仓库的演进 美团⺴数据组 刁⼠涵 13年9月6⽇星期五 数据驱动 2 13年9月6⽇星期五 13年9月6⽇星期五 演进过程 •数据收集与存储 • ETL • 开放和协作 • 经验教训 13年9月6⽇星期五 Scribe 13年9月6⽇星期五 Flume 13年9月6⽇星期五 日志收集 Flume Scribe 容错性 agent和collector ，collector和store之间提供 collector和store之间有容错，但agent 三种级别的可靠性保证 和collector之间的容错需要⾃⼰实现 • 从agent到collector之间可以设置 负载均衡 Loadbalance模式 ⽆ 扩展性 好 好 包含source, channel, sink三部分，可以⽅便 框架 设置。代码框架良好，可以⽅便进⾏组件开 代码简单 发。 源⽀持 提供丰富的agent ，包括socket, syslog, thri ，其它美团⾃⼰实现 scribe, thrift, avro, exec等； ⽀持存储到hdfs, file, hbase和发送到avro, 存储⽀持 thrift等端；写hdfs时⽀持对text和 sequence buffer, network, file(hdfs, text) 的压缩； 13年9月6⽇星期五 ⽇志的结构化存储 • Infobright • Hadoop/Hive 13年9月6⽇星期五 演进过程 • 数据收集与存储 • ETL • 开放和协作 • 经验教训 13年9月6⽇星期五 • 很多重复劳动和代码，⼀处变更多处修改 • 中间数据缺失，中间结果不能共享 • 程序语⾔五花⼋⻔，⽅法各异很难管理 • 清洗和转换没有统⼀⽅法，容易出错 • 不同数据源的数据很难综合使⽤ 13年9月6⽇星期五 ETL 13年9月6⽇星期五 上百个流程如何管理？ • B流程要在N流程后⾯执⾏ • 并⾏开发 • 上游数据源调整，没通知下游？ 13年9月6⽇星期五