实时敏捷大数据在宜信的实践 CTO技术分享-大数据.pdf

实时敏捷大数据在宜信的实践 及开源平台Dbus + Wormhole 王东 宜信技术研发中心， 高级架构师 实时敏捷大数据在宜信的实践 01 痛点和挑战 02 实时敏捷大数据设计理念 03 总体架构、设计原理和关键技术 04 解决的问题及场景 背景和痛点 数据孤岛 数据抽取 实时数据 问题 方案 应用能力 • 不同部门的数据保存在各个业务库 • 各自抽取方案（一致性差、侵入性大） • 有实时数据产品需求，实时技术能力 中 • 统一抽取方案（时效性差， T+1） 不足 • 跨部门共享数据比较困难 • 大表问题 • 定制化开发，开发周期长 • 无法快速响应开发数据产品 • 业务变化快，运维成本高 实时数据应用的需求和挑战 • 数据在数据库和日志中 • 实时增量 & 批量全量 • 接入数据侵入性低，业务无感知 • 数据低延时，高实时性 • 输出 & 使用多元化：RDBMS、 输入 实时 • 流式并行处理 Hbase、HDFS、CASS、ES、 输出 离线 mongo 等 • 高性能、高可用架构 • 数据价值密度高，不允许丢数据 • 开发快速迭代，配置搭建平台 • 数据安全高，包括分级脱敏, 数据 价值 快速 • 响应业务逻辑变更 权限、资源隔离等 安全 迭代 • 可视化配置，降低运维成本 • 监控 & 预警 • 平台化建设 实时敏捷大数据设计理念 • 数据实时响应（秒级分钟级） 实时处理 • 减少数据处理延迟，释放批处理吞吐压力 • 模块化抽象，多个高內聚的组件化平台 • 组件化平台既可独立使用，又能组合使用 事件驱动 • 抽象业务逻辑模型和规则算法模型， 构建 特定业务领域的产品化解决方案 • 数据命名空间／元数据/数据类型规 组件化 标准化 范／数据访问接口 ／查询语言 ／数 据传输 平台化 接口化 实时敏捷 • 以服务接口和队列接口方式提供系统 间交互 快速迭代 • 受控环境内，以自助方式实现业务需求 自助化 可视化 • 基于配置进行部署、管