Mongodb在京东的使用.PDF

Mongodb在京东的使用 侯衍⼲ ⺫录 CONTENTS l  Mongodb在京东的发展 l  复制集实践 l  分⽚架构实践 l  监控和备份 Versions l  从1.8版本开始 l  使用最新的稳定版本 l  版本饼图 Bugs Replica Set Architecture Replica Set Architecture ü  使用副本集代替主从架构. ü  部署奇数个节点 ü  使用通用的arbiter机器以节省资源 ü  Primary和Secondary放在不同的机柜上或者在不同的机房里以便容灾 Replica Set Architecture 配置复制集的一些注意事项: ü 使用IP还是Hostname配置？ ü 使用Priority项实现固定Primary等功能 ü 使用 replset.settings.getLastErrorDefaults 项配置初始化的WriteConcern settings: { getLastErrorDefaults : document, chainingAllowed : boolean, getLastErrorModes : document, heartbeatTimeoutSecs: int } Replica Set Architecture WriteConcern WriteConcern 定义了Mongodb的安全写入级别。 常用 WriteConcern WriteConcern.ACKNOWLEDGED(default) WriteConcern.REPLICA_ACKNOWLEDGED WriteConcern.JOURNALED public WriteConcern( int w , int wtimeout , boolean fsync , boolean j, boolean continueOnError) { _w w ;//0,1,2+ _wtimeout wtimeout; //how long to wait for slaves before failing _fsync fsync; _j j; _continueOnError continueOnError; } Replica Set Architecture Read Preference: 默认的 Read Preference 模式 : Primary. 是不是可以使用Secondary或者SecondaryPreference实现读写分离来提高系统的承载能 力？ 1、Secondary节点的写压力跟Primary基本是相同的，所以，读操作在从库上并不会提高 查询速度。 2、由于是异步复制数据，所以读Secondary的数据可能是过时的。 3、在分片架构中使用读写分离的时候有可能会丢失数据或者读到重复数据。 两种比较好的可以使用读写分离的读操作： 1、ETL 作业, 分析查询, 备份或者Hadoop 作业 2、跨地域的查询 Replica Set Architecture 关于存储的一个建议： 如果系统有大量的delelte或者update操作，或者在某个集合上使用了TTL索引，那么最好 使用usePowerOf2Size标签（2.6之后默认使用）。 db.runCommand( {collMod: products, usePowerOf2Sizes : true }) 被删除的数据空间在MongoDB中是如何组织的： 0-32 32-64 64-128 …. 2M-4M 4M-8M Deleted records diskLoc DR DR