NoSQL测试方案-TeamPal-软件工程项目信息化平台.DOCVIP

中科大移动云计算系统实验室 PAGE 30 基于内存的NoSQL分布式数据库技术研究项目 测试方案 Version?: 1.1.0 2012-04-06 By 中科大移动云计算系统实验室 DOCUMENT HISTORY Ed. Version Author Change 1 10.0 吴昊 Initial 1 1.1.0 孟宁 重新整理 孟宁 电话:0512E-mail:mengning@ 目录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc23913 目录 PAGEREF _Toc23913 2 HYPERLINK \l _Toc4568 一、 背景、目的与意义 PAGEREF _Toc4568 4 HYPERLINK \l _Toc27767 二、 数据库模型 PAGEREF _Toc27767 4 HYPERLINK \l _Toc6729 2.1 数据库的数据模式 PAGEREF _Toc6729 4 HYPERLINK \l _Toc10099 2.2 数据库的基本访问操作接口 PAGEREF _Toc10099 5 HYPERLINK \l _Toc3334 三、 基本测试内容要求 PAGEREF _Toc3334 5 HYPERLINK \l _Toc584 3.1 数据库的基本读写性能测试 PAGEREF _Toc584 5 HYPERLINK \l _Toc2304 3.2 数据库的查表行为测试 PAGEREF _Toc2304 6 HYPERLINK \l _Toc30733 3.3 数据库的一致性维度测试 PAGEREF _Toc30733 6 HYPERLINK \l _Toc15668 3.4 项目选址系统资源对性能影响测试 PAGEREF _Toc15668 6 HYPERLINK \l _Toc8967 四、 第一阶段数据库评估测试方案 PAGEREF _Toc8967 6 HYPERLINK \l _Toc19750 4.1 测试环境 PAGEREF _Toc19750 6 HYPERLINK \l _Toc2481 4.2 测试数据结果分类收集方式 PAGEREF _Toc2481 7 HYPERLINK \l _Toc31301 五、 第二阶段板内共享/分布测试方案 PAGEREF _Toc31301 7 HYPERLINK \l _Toc28955 六、 第三阶段板间分布测试方案 PAGEREF _Toc28955 7 背景、目的与意义 研究一种新的快速存储与访问机制，改善内存使用的现状，同时要保证软件架构上不做大的改动，性能没有明显下降。 研究分布式存储技术，优化当前的DB存储，并且研究板内、板间多进程对新存储系统访问效率。所涉及的技术和平台，既可以运行X86平台上，也可以运行在非X86平台上。具体要求如下： （1）每块单板一块8核X86芯片（注：采用2核机器实际测试），每个核有两个超线程，可看成16个核（注：4核）。 （2）业务使用进程部署，每个核上分别部署1个进程；每个核上分别部署2个进程；每个核上部署的进程会有扩展的需求。在保留当前函数调用的基础上，用NoSQL数据库替换现有“关系数据库DB+ CACHE” 模式，以便实现“数据库内存 同 核/进程/线程”的解耦合。 （3）采用分布式算法将将板内所有进程构成一张全局表，每个单板的进程数目可以达到256个；从DB读写访问比例、查表行为和一致性维度进行模拟，选择达到性能要求的NoSQL数据库；并给出共享内存和分布式的对比数据，并给出一个较优的数据库。 （4）板间分布式改造后可实现最大200块单板（共200*16个核，进程数目需要增加到10000个进程），系统所有进程构成一张全局表，算法不限。实际验证时，可能是由2个分布点、4个。。。320个。。。10000个逐步验证，要求每种场景下都给出对比数据。给出性能同分布节点数的关系。给出分布节点与数据中心的核查算法。保持同步机制，即使板间使用消息，对外接口上仍体现单一接口调用。要考虑数据一致性，写数据生效时间小于1ms，（读写关系类似于CPU CACHE读写关系）。 （5）板间采用xGE交换链接，该交换为无阻塞交换，可忽略其交换时延。 数据库模型 2.1 数据库的数据模式 数据库就是一个大的顺序内存空间，按照表定义的规格规则排序；系统保存有每张表的起始位置，规格，每个表记录的长度，每个表记录每个元素的长度，表的关键字定义等等信息。 数据库的规模是1000张表，每个表最大20000个记录，每条记录最大1000个字节，每个表的关键字小于10个。 数据库表：1000张表，命名为T1，T2，