MongoDB 3.0数据压缩测试.docxVIP

MongoDB3.0数据压缩测试

概述

2015.3.3正式发布了Mongodb3.0,对比2.0版本加入了许多新特性，主要加了新的存储引擎WiredTiger，默认引擎是MMAP。

WiredTiger引擎的特点：

文档锁

以前的版本是库锁，现在WiredTiger通过多版本控制（MVCC）实现了文档锁，很大的提高了并发性能

压缩

WiredTiger引擎支持三个压缩模式，none（不压缩），snappy（默认），zlib（压缩级别最高）

内存配置

以前版本的mongodb对内存使用是不能控制的，有时候会出现内存大量被cache，并使用交换分区。现在可以通过参数控制内存使用量。

数据和索引分离

可以设置数据文件和索引文件单独存放

数据写入

版本：3.0.1

引擎：WiredTiger

插入1000W条数据：

内存配置:4G

[root@test1mongo]#time./mongo_insert.py

real13m12.811s

user13m9.427s

sys0m2.350s

[root@test1test_db]#ll-h

total334M

-rw-r--r--1rootroot248MApr115:13collection-16--3409845300373840484.wt

-rw-r--r--1rootroot87MApr115:13index-17--3409845300373840484.wt

多进程：4个

[root@test1mongo]#time./mongo_insert_process.py4startingat:WedApr815:36:242015

allDONEat:WedApr815:40:302015

allDONEat:WedApr815:40:302015

allDONEat:WedApr815:40:302015

allDONEat:WedApr815:40:352015

real4m10.946s

user15m21.384s

sys0m2.748s

版本：3.0.1

引擎：MMAPv1

插入1000W条数据：

[root@test1mongo]#time./mongo_insert.py

real12m59.089s

user12m54.693s

sys0m2.533s

[root@test1mongodb3]#lltest_db/-h

total4.0G

-rw-------1rootroot64MApr116:50test_db.0

-rw-------1rootroot128MApr116:38test_db.1

-rw-------1rootroot256MApr116:40test_db.2

-rw-------1rootroot512MApr116:44test_db.3

-rw-------1rootroot1.0GApr116:50test_db.4

-rw-------1rootroot2.0GApr116:50test_db.5

-rw-------1rootroot16MApr116:50test_db.ns

drwxr-xr-x2rootroot4.0KApr116:48_tmp

多进程：4个

[root@test1mongo]#time./mongo_insert_process.py4startingat:WedApr815:54:592015

allDONEat:WedApr815:58:352015

allDONEat:WedApr815:58:362015

allDONEat:WedApr815:58:362015

allDONEat:WedApr815:58:362015

real3m37.040s

user13m10.401s

sys0m2.313s

版本：2.4.9

引擎：MMAPv1

插入1000W条数据：

[root@test1mongo]#time./mongo_insert.py

real12m53.500s

user12m50.148s

sys0m2.112