支付宝数据平台 hadoopinchina.pdfVIP

支付宝数据平台及应用 Hadoop in china 蒋杰(花名:平原君) 2011-12-2 目录 1.Hadoop在支付宝相关应用 2.经验分享—血的教训 3.面临问题:海量数据 4.支付宝数据平台整体架构 4.重点产品介绍—海狗系统 目录 第一篇:Hadoop在支付宝相关应用 案例1:Hbase相关--历叱消费记录查询 客户需求: 1.支持海量数据（总数据30T ）下的快速随机读取 2.支持按userid的快速数据导出 3.支持多个字段的分词查询 实现结果: 1.按单个数据的查询响应在10ms以内 2.按多个分词的查询并且支持分页的平均响应在40ms左 史 案例2:Hbase相关--CTU风险数据项目 客户需求: 1.支持宽表的字段灵活变更和数据快速 2.支持ctu风控模型海量数据（40TB ）的在线高并发读写 每天10亿次的调用量，高峰期读是5.4W/S 写 10W/s 实现结果: 98%的读请求在10ms内完成， 95%的写请求在10ms内 完成 案例3:hadoop应用—hadoop集群数据的资源管理 海豚系统 一站式资源服务 1:访问 / 2:通过公司的域帐号登录 3:申请计算存储资源，获得 批准 4:通过客户端访问集群资源 案例4:Pig相关—可视化用户自主查询 目录 第二篇:经验分享—血的教训 经验分享(一):Hbase相关优化 历叱消费记录查询项目  优化hregion下的minor compact算法，加快minor compact的速度  优化客户端的多个get的查询请求速度  设计合理的blocksize ，支持快速的随机读和顺序读  CTU风险数据项目  合理的设计rowkey ，将数据平均分散到各台hregionServer ，避免数据热点  合理设计合适的hregion大小，避免split和compact造成的响应时间波劢  解决高并发写请求，单个regionserver发生写请求挂住的bug 经验分享(二):海豚系统 Hfront Front KDC LDAP back end end  易用  基于kerberos的用户认证 核心 HDFS M/R Hives Hbase  基于ldap的服务端组关系解析 服务 erver  用户执行空间/存储空间隔离 Zook 海狗 章鱼 海星  安全 eeper  通过登录WebUI接口开始使用集群资源 Hback 运维  一站式注册、申请资源、管理资源