HBase服务化实践.pdf

服 务化 实践 小米科技 云平台存储组 大纲 简介 应用现状 开发工具支持 小米开放平台 简介 架构回顾 应用现状 典型业务 在线业务以及相 关的离线分析 ： 小米云服 务 小米推送服 务 米聊消息全存储 多看 阅读 各种智能设备 应用规模 个在线集群 ，个 离线集群 ，若干测试集群 个数据 中心 数百台机 器 ：每个数据节点 公 司内外数十个业务 单机群峰值百万级别 典型部署 ：主备集群 同步 细粒度 同步策略 ： 表级别同步设 置，按 需同步，节约空间和带宽 典型部署 部署监控报警工具 支持 ， ， ， ，等服 务 可灵活扩展 支持其他服 务 监控 支持 ：表级别监控数据 聚合 ：包管理服 务 ：统计监控服 务 ：节点 ：工具 已开源 ： 测试上线流程 单元测试 压力测试 ，性能测试 集群测试 ：业务测试 测试 测试 ， 可配置随机选择 数据正确性验证 错误可重放 辅助工作 其他辅助工作 ： 支持 管理 系统 错误 日志分析统计作业 账号管理 系统 典型故障 坏盘 慢盘 第一次读取超 时时，请 求第二个 ，降低整体延迟 问题 参数 多实例部署 ，减少堆大小 程序 可用性监控 错误 日志统计分析作业 网络故障 开发工具支持 数据模型 多数业务数据模型统一 ： 数据 由大量独立的用户或设备等某种 实体产生 业务一般 需要在 用户实体 范围内支持跨行原子性和二级索引 改改改进进进 ：：：数数数据据据分分分布布布的的的保保保证证证 基于正则表达式的前缀分割策略 ： 改改改进进进 ：：： 内内内部部部的的的跨跨跨行行行原原原子子子性性性支支支持持持 现状 ：同一次操作的同跨行 写没有原子性保证 改进 ：同一次操作的同的所有写在 获得所有行的锁 后一次落地 ，确保按照顺序抢锁 、避免死锁 数据模型 最初的应用通过原生 开发 ： 用户学习成本 高 用户实现数据类型 ，数值类型一般转成字符 串以保持 先后顺 序 ，有额外开销 客户端 实现索引，开销大，功能不完备 代码 冗余 ，开发效率较低 ，易出错