MongoDB日志管理系统探析.PDFVIP

第４１卷第３期 湖北大学学报(自然科学版) Ｖｏｌ.４１　 Ｎｏ.３　 ２０１９年５月 Ｊｏｕｒｎａｌ ｏｆ Ｈｕｂｅｉ Ｕｎｉｖｅｒｓｉｔｙ(Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ) Ｍａｙꎬ２０１９　 文章编号:１０００ ２３７５(２０１９)０３ ０３１８ ０７ ＭｏｎｇｏＤＢ 日志管理系统探析 ———以«全国报刊索引»平台为例 王静 (上海图书馆ꎬ上海２０００３１) 摘要:随着二次文献共建共享平台应用需求的不断增加ꎬ日志文件的数据量和并发量急剧增长ꎬ对日志文件的管理 变的更加具有挑战性.本文中通过对非关系性数据库ＭｏｎｇｏＤＢ与关系型数据库ＭｙＳＱＬ 的比较分析ꎬ找出更适宜存储海 量日志的数据库系统.最终选取ＭｏｎｇｏＤＢ数据库系统作为«全国报刊索引»平台的日志管理系统ꎬ取得了良好的效果ꎬ极 大地提高了对后台日志数据管理和应用的效率. 关键词:海量日志处理ꎻＭｏｎｇｏＤＢꎻＭｙＳＱＬ 中图分类号:ＴＰ３１１.５２　 　 文献标志码:Ａ　 　 ＤＯＩ:１０.３９６９/ ｊ.ｉｓｓｎ.１０００￣２３７５.２０１９.０３.０１９ Ａｎａｌｙｓｉｓ ｏｆ ＭｏｎｇｏＤＢ ｌｏｇ ｍａｎａｇｅｍｅｎｔ ｓｙｓｔｅｍ ———ｔａｋｅＮａｔｉｏｎａｌ Ｎｅｗｓｐａｐｅｒ Ｉｎｄｅｘ ａｓ ａｎ ｅｘａｍｐｌｅ ＷＡＮＧＪｉｎｇ (Ｓｈａｎｇｈａｉ ＬｉｂｒａｒｙꎬＳｈａｎｇｈａｉ２０００３１ꎬＣｈｉｎａ) Ａｂｓｔｒａｃｔ:Ｗｉｔｈ ｔｈｅ ｉｎｃｒｅａｓｉｎｇ ｄｅｍａｎｄ ｆｏｒ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｓｅｃｏｎｄａｒｙ ｄｏｃｕｍｅｎｔ ｓｈａｒｉｎｇ ｐｌａｔｆｏｒｍꎬｔｈｅ ａｍｏｕｎｔ ｏｆ ｄａｔａ ａｎｄ ｃｏｎｃｕｒｒｅｎｃｙ ｏｆ ｌｏｇ ｆｉｌｅｓ ｈａｖｅ ｉｎｃｒｅａｓｅｄ ｄｒａｍａｔｉｃａｌｌｙꎬｗｈｉｃｈ ｍａｋｅｓ ｔｈｅ ｍａｎａｇｅｍｅｎｔ ｏｆ ｌｏｇ ｆｉｌｅｓ ｍｏｒｅ ａｎｄ ｍｏｒｅ ｃｈａｌｌｅｎｇｉｎｇ. Ｂｙ ｃｏｍｐａｒｉｎｇ ａｎｄ ａｎａｌｙｚｉｎｇ ｔｈｅ ｎｏｎ￣ｒｅｌａｔｉｏｎａｌ ｄａｔａｂａｓｅ ＭｏｎｇｏＤＢ ａｎｄ ｒｅｌａｔｉｏｎａｌ ｄａｔａｂａｓｅ ＭｙＳＱＬꎬＷｅ ｗａｎｔ ｔｏ ｆｉｎｄ ｏｕｔ ａ ｄａｔａｂａｓｅ ｓｙｓｔｅｍ ｗｈｉｃｈ ｉｓ ｍｏｒｅ ｓｕｉｔａｂｌｅ ｆｏｒ ｓｔｏｒｉｎｇ ｍａｓｓｉｖｅ ｌｏｇｓ. ＦｉｎａｌｌｙꎬＭｏｎｇｏＤＢｄａｔａｂａｓｅｓｙｓｔｅｍｉｓｓｅｌｅｃｔｅｄａｓｔｈｅｌｏｇｍａｎａｇｅｍｅｎｔｓｙｓｔｅｍｏｆＮａｔｉｏｎａｌＮｅｗｓｐａｐｅｒＩｎｄｅｘ ｐｌａｔｆｏｒｍꎬｗｈｉｃｈ ｈａｓ ａｃｈｉｅｖｅｄ ｇｏｏｄ ｒｅｓｕｌｔｓ ａｎｄ ｇｒｅａｔｌｙ ｉｍｐｒｏｖｅｄ ｔｈｅ ｅｆｆｉｃｉｅｎｃｙ ｏｆ ｂａｃｋｇｒｏｕｎｄ ｌｏｇ ｄａｔａ ｍａｎａｇｅｍｅｎｔ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ. Ｋｅｙ ｗｏｒｄｓ:ｍａｓｓｉｖｅ ｌｏｇ ｐｒｏｃｅｓｓｉｎｇꎻＭｏｎｇｏＤＢꎻＭｙＳＱＬ ０　 引言 ＭｏｎｇｏＤＢ是一个基于文档模型的ꎬ支持索引、复制、事务、分片水平扩展的数据库ꎬ是目前应用最广 泛的非关系型数据库产品.ＭｏｎｇｏＤＢ并不是ＭａｎｇｏＤＢꎬ而是Ｈｕｍｏｎｇｏｕｓꎬ代表海量的意思ꎬ从设计之初ꎬ 产品的初衷就是要让对海量数据的存储和访问更加便捷.用户访问日志包含用户资料、用户行为等信 息ꎬ在平台提供线上服务时会大量产生ꎬ通常会用文本形式来记录日志信息. ＭｏｎｇｏＤＢ数据库系统非常适用于分析和管理日志.首先ꎬ它易扩展ꎬ灵活的文档数据模型使得处理 数据更加直观ꎻ第二ꎬ它有些类似于关系型数据库ꎬ具有丰富的数据查询语言ꎬ可建立索引和分布式、可 扩展设计ꎻ第三ꎬ它的数据以文件形式加载在内存中ꎬ如果机器的内存资源丰富的话ꎬ其插入和查询效率 要优于关系型数据库. 收稿日期:２０１８ １２ ２２ 作者简介:王静(１９８２ )