测试方案 - teampal - 软件工程项目信息化平台.docVIP

控制器分布式存储技术研究测试方案 一、 研究一种新的快速存储与访问机制，改善内存使用的现状，同时要保证软件架构上不做大的改动，性能没有明显下降。 研究分布式存储技术，优化当前的DB存储，并且研究板内、板间多进程对新存储系统访问效率。所涉及的技术和平台，既可以运行X86平台上，也可以运行在非X86平台上。 二、测试环境搭建 8核X86芯片，每个核有两个超线程，可看成16个核。 （2）业务使用进程部署，每个核上分别部署1个进程；每个核上分别部署2个进程；每个核上部署的进程会有扩展的需求。 （3）板内分布式采用分布式算法将将板内所有进程构成一张全局表，每个单板的进程数目可以达到256个。 （4）板间分布式改造后可实现最大200块单板（共200*16个核，进程数目需要增加到10000个进程），系统所有进程构成一张全局表。实际验证时，可能是由2个分布点、4个…320个…10000个逐步验证，要求每种场景下都给出对比数据。给出性能同分布节点数的关系。 （5）板间采用xGE交换链接，该交换为无阻塞交换，可忽略其交换时延。 2、进程绑定多核运行 名词CPU affinity：中文作“CPU亲和力”，是指在CMP架构下，能够将一个或多个进程绑定到一个或多个处理器上运行。如果自己写代码，要把进程绑定到CPU，可以用sched_setaffinity函数。在Linux上，这会触发一次系统调用。int sched_setaffinity(pid_t pid, unsigned int len, unsigned long *mask); sched_setaffinity 的第一个参数是pid （进程ID）设置进程为pid的这个进程让它运行在mask所设定的CPU上如果pid的值为0则表示指定的是当前进程使当前进程运行在mask所设定的那些CPU上第二个参数cpusetsize是mask所指定的数的长度通常设定为sizeof(cpu_set_t)如果当前pid所指定的CPU此时没有运行在mask所指定的任意一个CPU上,则该指定的进程会从其它CPU上迁移到mask的指定的一个CPU上运行int sched_getaffinity(pid_t pid, unsigned int len, unsigned long *mask); 该函数获得pid所指示的进程的CPU位掩码并将该掩码返回到mask所指向的结构中即获得指定pid当前可以运行在哪些CPU上同样如果pid的值为0.也表示的是当前进程三、测试架构与流程 DB为内存关系数据库，cache为了加快数据访问而单独增加的表项，实际存放的是全局数据，DB和cache对应一个独立的进程，FLASH为本地化数据库。正常业务时绝大多数是读操作，当有数据更新（修改、增加、删除）时，由其他任务完成对DB、FLASH数据库和cache的更新。 目标：在保留当前函数调用的基础上，用NoSQL数据库替换现有“关系数据库DB+ CACHE” 模式，以便实现“数据库内存 同 核/进程/线程”的解耦合。 2、板内分布式改造 采用分布式算法将将板内所有进程构成一张全局表，每个单板的进程数目可以达到256个；从DB读写访问比例、查表行为和一致性维度进行模拟，选择达到性能要求的NoSQL数据库；并给出共享内存和分布式的对比数据，并给出一个较优的数据库。 3、板间分布式改造 系统所有进程构成一张全局表，算法不限。实际验证时，可能是由2个分布点、4个。。。320个。。。10000个逐步验证，要求每种场景下都给出对比数据。给出性能同分布节点数的关系。给出分布节点与数据中心的核查算法。 保持同步机制，即使板间使用消息，对外接口上仍体现单一接口调用。 要考虑数据一致性，写数据生效时间小于1ms，（读写关系类似于CPU CACHE读写关系）。 4、测试流程 四、测试用例 1． 数据库的规模是1000张表，每个表最大20000的记录，每条记录最大1000个字节，每个表的关键字小于10个。 数据库表：1000张表，命名为T1，T2，......，T1000；每个表有10个字段，命名为ID，field1，......，field9；每个表除主键外其它字段都是别的表的外键。 （4）数据结构： /*缓冲结构体*/ struct Array { unsigned num; unsigned length; void **point; }; （5）全局变量： sqlite3 *db； /*数据库 */ char T[1000][10]={{ID,field1,field2,field3,field4,field5,field6,field7,field8,field9}...}; /*保存每个表的字段名*/ ch