搜狗大数据分析中台建设实践.pdfVIP

搜狗大数据中台建设实践 sogou 申贤强 关于我们 Ø 来自搜狗大数据平台部 Ø 基于Apache Hadoop生态，建设搜狗海量数据存储和计算平台 Ø 提供稳定高效的数据分析系统，为搜狗各类型大数据应用，提供一站式数据 处理服务 Ø 每天数十亿的数据增量，数以百万计的数据计算流程，使数据的价值得到充 分利用 Ø 最前沿技术落地及推进开源技术的发展 目录 I. 背 景 Ø 目标 Ø 定位 II. 技术演进 Ø 架构改进历程 III. Sogou数据中台架构 背景 背景 背景 背景 传统的数据仓库不能 数据的处理架构发生 满足数据分析需求 了变化 从统计分析向预测分析转变 以Hadoop、Spark等分布式技术和组件为核心 的“计算存储混搭”的数据处理架构，能够 从单领域向跨领域转变 支持批量和实时的数据加载以及灵活的业务 需求 从被动分析向主动分析转变 数据的预处理流程正在从传统的ETL结构向ELT 转变 从非实时分析向实时分析转变 从结构化数据向多元化转变 背景 之前架构 协作 效率 基础 背景 数据效率 数据协作 数据能力 数据仓库层次建设 权限管理弱，安全性 BI分析能力 不佳 元数据管理混乱 仓库集市，数据互通 业务数据转化价值能 难度大 力弱 Hive/pig 的计算效率 重复报表多，统计口 无数据接口 径不一致 背景 数据服务能力