THUIRDB性能测评报告.pdfVIP

THUIRDB 性能测评报告 测评说明 通用测评平台说明： CPU:4 * Intel(R) Xeon(R) CPU E5620 @ 2.40GHz CPUCache:12288 KB ； Memory：4G 内存带宽：11118.88 MB/sec （hdparm -t 测得） GCC:版本4.4 百亿规模大数据量测评、Scalability 测试平台说明： CPU:16 * Intel(R) Xeon(R) CPU E5540 @ 2.53GHz CPUCache:8192KB； Memory：76G 内存带宽：11991.81 MB/sec （hdparm -t 测得） GCC:版本4.4 测评数据库说明： BDB:版本4.1 TokyoCabinet:版本: 1.4.31 LevelDB:版本1.1 TH UIRDB:版本0.1 THUIRDB2 ：版本0.2 其他说明： 测评语料为随机字符串，按行存放，每行存放一个key 和一个value ，\t 隔开。 库文件为最终文件大小之和，LEVLEDB 计算的是目录中的全部文件，THUIRDB 计算的是索引文件和 数据文件，BDB，TC 只有单个文件。其中TCH 为TokyoCabinet 的Hash 形式数据库，TCB 为B+树形式数 据库。 测评单位： 清华大学智能技术与系统国家重点实验室，信息检索组 测评人： 梁斌 测评时间： 2011-5-10~2011-5-17 创建THUIRDB 的测评 2011-5-22~2011-5-28 增加THUIRDB2 的测评 申明: 本测试结果只代表在特定机器上的测试结果，并没有在多种Linux 操作系统以及真实数据下的测试， 测评结果仅供参考。如测试手段、测试方法上有不科学之处，情来信指出，以便改进。 内存内性能测评 说明： 内存内性能测评表示库文件大小在内存以内，即内存数据库，全部数据可以装入内存。因为不同数 据库作库后大小有区别，因此特别设计的语料确保小于4G 机器内存。 作库测评 库文件 原始语 耗时 数据库 大小 料大小 库文件占比 备注 (min) (MB) (MB) BDB 9.08 3340 1250 267.20% set 3.5G cache 1 亿量级语料作库； TCH 63.57 3020 1250 241.60% set 3.5G cache 6-10 字节变长key， TCB 74.02 3020 1250 241.60% set 3.5G cache 3 字节定长value， LEVELDB 13.45 1946 1250 155.65% THUIRDB 12.69 817 1250 65.36% THUIRDB2 8.45 1445 1239 116% 注：作库过程为单线程插入，但仅有LEVELDB 作库时，系统内部为2 个线程，特此说明。 结论：  THUIRDB 结果库文件最小，仅为原语料的65.36% 。  THUIRDB2 作库最快，仅需8.45 分钟。 查询测评 测试简介 数据库 耗时(s) QPS 冷启动方法 备注 BDB 66.62 150 TCH 305.954 33