搜狐-陈伟-高性能NoSQL系统BladeCube的设计与优化.pdf

高性能NoSQL系统 BladeCube的设计与优化 Sohu北京研发中心 陈伟 BladeCube的设计与优化 应用背景 设计与细节 性能优化 应用背景 1、 云存储的元数据管理 为Sohu的大规模云存储系统管理元数据，比如文件版本 信息，用户自定义元数据等，规模为单集群数千亿-万 亿条记录。每条记录通常有十几个列，单列，多列的修 改和读都非常频繁。对延时非常敏感。 应用背景 2、 权限管理 作为权限管理的数据库，数据量不太大，但访问频率非 常高，热点数据集中，单个表的访问目前已可达3w tps。 应用背景 3、 常规的数据库场景 作为NoSQL数据库，相比于关系型数据库在一些事务， 分析，跨行跨表的请求中有一些劣势，但是BladeCube 通过提供一些常用的单行事务，服务端的计算功能，来 满足一般应用的需求。 应用背景 Why Not MySQL/MongoDB/…? 1. 可扩展性 2. 高可用 3. 错误恢复 应用背景 Why Not HBase? 1. 性能 Java vs C++ 2. 功能迭代 3. 定制化需求 设计与细节 BladeCube的设计参考了BigTable和HBase 设计与细节 BladeCube多维数据模型 设计与细节 底层存储系统： 是采用我们独立开发的BladeStore系统，支持三备 份的冗余存储，高可用。自动恢复的NameServer。 支持安全写接口，在GFS的流式写入之外，提供了更 低延时的安全写接口，并发的向多个客户端发送请 求，在写WAL时更有优势 设计与细节 数据存储模型： 内存数据：MemStore 持久化数据：SSTable SSTable中有bloomfilter和前缀压缩 网络包采用google的protobuf 设计与细节 网络模型： 基于epoll的异步通讯库AmFrame 支持单或多IO线程，高吞吐量，能够在各种大小的 数据包下压满网络带宽 数据安全： 支持WAL，数据刷入到底层存储之后再操作。 设计与细节 负载均衡： 基于读写请求量，内存占用量等指标计算出的综合 数据评定。 Region分配，Split： 依赖于Zookeeper模块提供的全局视图保证一致性。 通过进度通报来降低出错后的恢复时间 性能优化 优化效果： 测试数据： 单个表，单个列族，10列数据，每次读写都是同时 访问这10列数据，每列的value长度在10字节， rowkey在100字节以内。 性能优化 单机读取TPS 120000 100000 80000 60000 单机读取TPS 40000 20000 0 HBase BladeCube 性能优化 25000 20000 15000 HBase 10000 BladeCub