T3-S4-P1-夏凯-小红书36.pdf

THE STARTUP STORY OF BIG DATA @ RED 构建PB级数据仓库的一些分享 夏凯@小红书 OUTLINE  小红书是什么  小红书的大数据问题  数据仓库的进化  有待解决的问题 RED小红书 – 发现全世界的好东西  中国最大的口碑营销平台  用户在社区互相分享全世界值得买的好东西  用户可以通过笔记页的相关商品展示或者福利社的闪购购买商品  强大的跨境电商供应链：郑州 深圳 保税区独立仓库、香港及中国大陆仓 库  福利社：半年多销售额超7亿  中国第二大保税仓发货量  2015年9月份李克强总理到访小红书郑州仓库，赞赏小红书为 “中国发展最快的创业公司之一” APP商店免费榜排名第4位 APP商店生活榜排名第2位 1. Source: Apple Store, As of June 2015, PRC only 85后90后新一代消费者生活方式入口  82% 年龄 30 （85后 ）  56% 年龄 25 （90后 ） RED小红书的一些数字  社区拥有1500万用户，用户每月平均打开APP 52次，使用130分钟以上 （2014年中国海淘用户为1800万 ）  每天新产生超过 ３万条笔记  近300万条累计笔记  日新增USER ACTIVITY近1亿条  数据仓库: 10台DS2.XLARGE , 每台配置为4 VCPU, 14 ECU, 31G RAM, 2TB HDD THE STARTUP STORY OF RED DATA  NEED- IDEA - MVP - SCALE  DO WE HAVE PRODUCT?  CAN WE SHIP?  HOW TO DO IT FASTER/CHEAPER/BETTER?  HOW DO WE SCALE? 数据需求  千方百计提高产品和改善用户体验 ，更相关，更有趣，更智能  DATA CONSUMERS  市场 - 数据质量  运营 - 灵活性  产品 - 高可用  销售 - 多维度高质量  稳健，高效得提供更多可供分析的数据  通过分析工具，最好是SQL接口提供数据  随着需求增加和变化，灵活扩展DW的容量，并在SCALE过程中保证性能  较小的IT/DBA/DEV OPS维护成本 挑战  多种异构数据源  获取数据的成本太高 ，只有DATA SCIENTIST和ENGINEERS可以做到  快速增长的数据量，对存储和处理提出了更高要求 选型  SQL on Hadoop: Shark, Impala, Drill, Tez, Presto, Hive  不成熟  成本高昂，开发维护和优化需要更多ENGINEERING RESOURCES THE AWS WAY SCALABLE DWH ：REDSHIFT  PB-SCALE  RDB, SQL接口  全托管，无需专职DBA  自动化的维护和升级  方便的DASHBOARD检测和报警  基于ParAccel的一些技术, 源自PG8.0.2的成熟技术 psql直接可以使用 Fork of PG8.0.2 ，PG 的文档更丰富 原始计算 – GREP大法 • 原始方法：log切片 + grep大法 + count + db ETL进化