支付宝大数据技术实践及应用V1.pdf

2013 Oracle技术嘉年华 OTN China Tour 2013 支付宝大数据技术实践及应用 周卫林@支付宝  周卫林  一个数据人  支付宝  DW/BI高级架构师  当前关注：实时计算，可视化技术 数据的生命周期和技术体系 1 业务系统 2 数据加工 3 数据消费 小微 集团 采集 计算不存储 挖掘 业务模式探索 数据流 4 数据服务 合作伙伴…… 数据化运营 核身 授信 关系圈 偏好 … 1 时效性：毫秒/秒，吞吐量：极高 OLTP ：Mysql/oracle ，NoSql ，缓存，…… 2 时效性：小时/天，吞吐量：高 离线计算 ：Hadoop/hive ，飞天/odps 数据技术 3 时效性：秒，吞吐量：低 OLAP ：实时计算，Ad-hoc ，可视化，…… 4 时效性：毫秒，吞吐量：极高 KV查询 ：NoSql ，缓存，…… 投入占比 我们处在这里 •数据消费/服务 •数据加工 研发曲线 • 业务系统 时间 每天产生和累积大量的数据  每天采集新增数据量： 20T  每天净增生产数据量： 60T  每天加工数据量： 2500T  当前累积数据量： 20P PS ：当年数据的增长量比历叱上往年累计的总的增长量还要多！ 数据只有使用才会产生价值 不同的业务阶段，导致不同的数据诉求 •数据增长率 业务焦虑/扩张期 • 业务复杂度 业 • 业务成长量 务 阶 业务成长期 业务建立期 段 公司成立时长 3年内 3-5年 5-8年 8年以上 √ √ √ 1 看现状 2 找原因 3 给方案 4 做运营