小米的大数据系统应用与实践.pdf

小米的大数据系统应用与实践 冯宏华 2 大纲  简介  存储平台  计算平台  开放平台 3 简介– 小米  移动互联网公司，2010年创建  产品：手机、电视、路由器、平板…  2012年：712万台手机，销售额126亿  2013年：1870万台手机，销售额316亿  2014上半年：2611万台手机，销售额330亿 4 简介– 小组  小米存储与计算组，2012年10月建立  成员：14人 • 存储平台组：5人 • 计算平台组：5人 • 开放平台组：4人 5 简介–集群、业务  业务：20+  集群：15 (9个在线服务，2个离线处理，4个测试)  应用 • MiCloud • 推送 • 米聊 • MIUI • … 6 简介– 开源、贡献  拥抱开源：取自社区、回馈社区  回馈贡献：Hadoop/HBase 147/270 patches  已贡献开源项目： • Minos ：自动化监控/部署框架 • Chronos ：高可用高吞吐全局严格单调递增时间/序列生成器 • Themis ：跨表、跨行事务(基于HBase) 7 大纲  简介  存储平台  计算平台  开放平台 8 存储平台  现状：HDFS/HBase服务了公司几乎所有部门的20+个业务  计划：调研Cassandra、HBase的跨机房同步备份  改进：针对业务需求对HDFS/HBase有多项重大改进 9 存储平台–写吞吐优化(HBase-8755) 老模型： … WriteHandler … WriteHandler WriteHandler 256 Local Buffer WriteHandler : write to HDFS 256 WriteHandler :write to HDFS WriteHandler :write to HDFS WriteHandler : sync to HDFS 256 WriteHandler :sync to HDFS WriteHandler :sync to HDFS 问题 : Write