CSDN大数据应用大会PPT——05-杨志丰:OceanBase--淘宝结构化大数据解决之道.pptxVIP

  • 4
  • 0
  • 约4.08千字
  • 约 39页
  • 2024-03-25 发布于云南
  • 举报

CSDN大数据应用大会PPT——05-杨志丰:OceanBase--淘宝结构化大数据解决之道.pptx

大数据解决之道淘宝网淘宝OceanBase开发组杨志丰mailto:Zhuweng.yzf@zhuweng.yzf@Agenda淘宝数据背景与需求解决之道淘宝数据库解决方案未来展望下一步工作淘宝年度交易额亿元人民币6000万用户登录/天20亿PV/天数据来自公开媒体一个报表需要分析几TB乃至百TB数据!一次页面展示要访问后台数据几十次!淘宝网站流量数据来源:淘宝数据(1)离线数据:39PB+,2000+台Hadoop机群,40000+个MapReduce作业/天糖果、蜜饯、炒货、冲饮品、饼干广东、上海、浙江、江苏、北京2010年淘宝上最畅销手机价格区间?2010年什么年货最畅销?什么地方人最爱大闸蟹?淘宝数据(2)在线非结构化数据(图片):2700+TB商品图片,商品描述图片淘宝分布式文件系统TFS实时响应,同城热备+异地灾备淘宝数据(3)商品库、评价库、交易库、用户库、店铺库…商品库:14亿/8亿(下线/在线)商品QPS/TPS:78K/2.7K(峰值)Read/WriteIOPS:46K/7K(峰值)在线结构化数据:数据库淘宝收藏夹存储买家收藏的宝贝:收藏信息表,65亿条记录宝贝信息表,4亿条记录淘宝收藏夹业务需求:每个买家可有千条收藏热门宝贝可能被十几万人收藏宝贝的价格、收藏人气等属性随时变化按宝贝属性(如价格)排序展示买家的收藏挑战:每天1.2亿次访问响应时间100

文档评论(0)

1亿VIP精品文档

相关文档