数据中台服务化平台建设方案.pdf

数据中台 数据服务平台建设方案 • 背景和挑战 • 平台的演进 • 应用场景 • 总结和思考 背景和挑战 人群洞察案例 北京地区普通人群 北京高消费人群 北京地区MacBook人群 北京地区Surface关联人群 整体流程 数据加工 应 采 •数据接入 •数据ETL •数据API化 用 •数据规范化入库 •统计分析 •加工能力API化 集 •数据监控 •模型训练 •模型预测API化 展 • 离线预测 示 数据集成 数据服务 核心挑战 服务元数据 超大数据量 服务治理 安全审计 高性能 实时数据 数据权限 多数据源 平台演进 超大数据量 高性能、高吞吐 高额存储成本 高延迟 Codis、Protobuf、Thrift Hbase、Aerospike Quota、限流 高性能RPC框架 注册中心 （ZK） 客户端 网关 服务端 RPC协议 RPC协议 服务发现 RPC协议 服务暴露 序列化 序列化 负载均衡 序列化 处理程序 协议编码 协议编码 监控统计 协议编码 线程池 网络传输 网络传输 网络传输 用户体系？ 限流熔断？ 用户权限？ 数据安全？ 数据服务平台化