基于大数据的数据存储及数据筛选问题研究-图书情报专业论文.docxVIP

分类号 分类号 一 U D c． 密级 公 开- 暑哦 ≯产哮 硕士研究生学位论文 基于大数据的数据存储及数据筛选问题研究 申请人： 余浩 学 ，号： 2131624 培养单位： 信息管理学院 学科专业： 图书情报 研究方向： 信息管理 指导教师： 张冬青副教授 完成日期： 2015年5月 万方数据 中文摘要中文摘要 中文摘要 中文摘要 随着计算机及移动互联网不断发展，数据量不断增长、数据结构也更为复杂， 在这种不断变化的环境下，关系型数据库在解决相关问题上遇到一定瓶颈，其不 能完全适应这种变化，数据筛选同样受到大数据影响。分析大数据环境下关系型 数据库在存储及数据筛选时遇到的问题十分必要，可以得到非关系型数据库解决 相关问题的方法，及数据筛选相关算法使用范围。 论文先介绍了大数据产生原因及对传统存储方式的影响；其次立足传统数据 库优势及在大数据下缺陷，提出非关系型数据库解决相关问题的方法；最后文章 认为非关系型数据库在大数据环境下并不会完全取代关系型数据库，二者可以在 不同环节中结合使用。为此文章利用MongoDB、WebCollector等开源软件实现抓 取内容灵活存储于非关系型数据库中，此后可依照传统方法在筛选后将数据转存 到传统数据库，验证二者共同使用的可行性。 关键词：大数据；数据库；数据筛选 万方数据 黑龙江大学硕士学位论文Abstract 黑龙江大学硕士学位论文 Abstract With the．development of computer and the mobile Intemet，the data is growing rapidly and becoming more complex in structure．But in this changing environment，relational database encounter some questions to solve the problems as it can not adapt to the changes，the same as data screening．Analysis the problem in storage of relational database and data screening is very necessary under the environment of big data，as it could help US get the method how NoSQL to solve the relevant problems and how to use range of data screening algorithm At first the paper introduces what cause the big data and the impact on the traditional way of data storage，then based on the traditional database advantage and disadvantage in the big data，putting out the method how NoSQL to solve related problems．Finally geting the idea that NoSQL does not completely replace the relational database in the environment of big data，they can complete some task together．In order to prove that using MongoDB，WebCollector and other open source software achieve data of storage flexibly，after data screening transfer the data to traditional database using ofnormal methods． Keywords：Big data；database；data screening ．II． 万方数据 目录目 目录 目 录 中文摘要 I Abstract ． II 第1章绪论 l 1．1研究背景及研究意义 1 1．2研究综述 2 1．3创新之处 6 1．4本文的主要内容及组织结构 6 第2章大数据相关概念及发展 ．8 2．1大数据定义及特点 8 2．1．1大数据的定义 8 2．1．2大数据特性 8 2．2大数据成因 ．9 2．2．1大数据发展基础 9 2．2．2大数据快速发展因素 lO 2．