THUIRDB的可用场合 - 清华大学智能技术与系统国家重点实验室信息检索组.docxVIP

THUIRDB 性能测评报告测评说明通用测评平台说明：CPU:4 * Intel(R) Xeon(R) CPU E5620 @ 2.40GHzCPUCache:12288 KB；Memory：4GGCC:版本4.4Scalability测试平台说明：CPU:16 * Intel(R) Xeon(R) CPU E5540 @ 2.53GHzCPUCache:8192KB；Memory：76GGCC:版本4.4测评数据库说明：BDB:版本4.1TokyoCabinet:版本: 1.4.31LevelDB:版本1.1THIRDB:版本0.1其他说明：测评语料为随机字符串，按行存放，每行存放一个key和一个value，\t隔开。库文件为最终文件大小之和，LEVLEDB计算的是目录中的全部文件，THUIRDB计算的是索引文件和数据文件，BDB，TC只有单个文件。其中TCH为TokyoCabinet的Hash形式数据库，TCB为B+树形式数据库。测评单位：清华大学智能技术与系统国家重点实验室，信息检索组测评人：梁斌测评时间：2011-5-10~2011-5-17内存内性能测评说明：内存内性能测评表示库文件大小在内存以内，即内存数据库，全部数据可以装入内存。因为不同数据库作库后大小有区别，因此特别设计的语料确保小于4G机器内存。作库测评　数据库耗时(min)库文件大小(MB)原始语料大小(MB)库文件占比备注1亿量级语料作库；6-10字节变长key，3字节定长value，BDB9.08 33401250267.20%set 3.5G cacheTCH63.57 30201250241.60%set 3.5G cacheTCB74.02 30201250241.60%set 3.5G cacheLEVELDB13.45 1946 1250155.65%THUIRDB12.69 817125065.36%　注：作库过程为单线程插入，但仅有LEVELDB作库时，系统内部为2个线程，特此说明。结论：THUIRDB作库最小THUIRDB作库时间较快查询测评　测试简介数据库耗时(s)QPS冷启动方法备注1w次单线程随机查询(冷启动)BDB66.62150 echo 3 /proc/sys/vm/drop_caches　TCH305.95433 TCB305.85133 LEVELDB386.40926 THUIRDB263846 结论：THUIRDB在冷启动情况下速度最快TCH，TCB，LEVELDB表现出两次读盘的特征，BDB表现出1次读盘的特征　测试简介数据库耗时QPS备注：加热方法备注1w次单线程随机查询(热启动)BDB0cat 索引文件 /dev/null　TCH0　TCB0　LEVELDB19.405515 　THUIRDB0　结论：BDB表现出最佳的性能THUIRDB受到解压的拖累，性能较慢内存外性能测评说明：内存外性能测评表示库文件大小在内存以外，即数据无法全部装入内存。因为不同数据库作库后大小有区别，因此特别设计的语料确保大于4G。做库测评：100M量级语料作库，16-32字节变长key，32-64变长value数据库耗时(min)库文件大小(G)原始语料大小(G)库文件占比备注TCH约40008.76.8127.94%LEVELDB38.98 7.96.8116.18%THUIRDB53.30 4.76.869.12%结论：THUIRDB作库较快THUIRDB作库结果最小查询测评：1w次单线程随机查询(冷启动)数据库耗时(s)QPS冷启动方法备注TCH471.8721 echo 3 /proc/sys/vm/drop_caches LEVELDB1220390 THUIRDB92.641108 结论：THUIRDB冷启动性能最快，只需至多1次读盘1w次单线程随机查询(热启动)数据库耗时(s)QPS冷启动方法备注TCH408.48124 cat 索引文件 /dev/null LEVELDB574550 THUIRDB32.707306 结论：THUIRDB 热启动性能依然最快注：TCH的做库在一台72G内存机器上，使用了10G的cache完成，在4G内存机器上做库极慢，4000分钟的耗时为插入1kw，2kw，6kw的耗时进行估算后的估计值。BDB由于内存cache最大设置为4G，在72G内存的机器上做库导致服务器崩溃，因此本测试中不含BDB的结果。LEVLEDB的随机读非常慢，目前尚未确认原因。Scalability性能说明：考察在追加CPU计算单元的情况下性能提升的情况。测试方法，启动1个线程，启动2个，直到启动16个，做16次试验，查询的任