大数据环境下的数据存储与查询的研究.docx

目录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc464867979 大数据基础上的数据查询 PAGEREF _Toc464867979 \h 1 HYPERLINK \l _Toc464867980 一、 背景和意义 PAGEREF _Toc464867980 \h 1 HYPERLINK \l _Toc464867981 1.1大数据的特点分祈 PAGEREF _Toc464867981 \h 2 HYPERLINK \l _Toc464867982 1.2大巧据技术面临的问题 PAGEREF _Toc464867982 \h 2 HYPERLINK \l _Toc464867983 二、研究现状 PAGEREF _Toc464867983 \h 3 HYPERLINK \l _Toc464867984 2.1国外研究现状 PAGEREF _Toc464867984 \h 3 HYPERLINK \l _Toc464867985 2.2国内研究现状 PAGEREF _Toc464867985 \h 3 HYPERLINK \l _Toc464867986 三、如何在大数据的基础上进行数据查询 PAGEREF _Toc464867986 \h 3 HYPERLINK \l _Toc464867987 3.1结构化数据的查询技术 PAGEREF _Toc464867987 \h 3 HYPERLINK \l _Toc464867988 3．2非结构化数据的查询技术 PAGEREF _Toc464867988 \h 7 HYPERLINK \l _Toc464867989 四、一种基于大数据的查询方法 PAGEREF _Toc464867989 \h 10 HYPERLINK \l _Toc464867990 4.1基于大数据的搜索框架 PAGEREF _Toc464867990 \h 11 HYPERLINK \l _Toc464867991 4.2基于大数据的搜索关键技术 PAGEREF _Toc464867991 \h 12 HYPERLINK \l _Toc464867992 4.3仿真实验 PAGEREF _Toc464867992 \h 16 HYPERLINK \l _Toc464867993 结语 PAGEREF _Toc464867993 \h 18 HYPERLINK \l _Toc464867994 针对第三节结语、 PAGEREF _Toc464867994 \h 19 HYPERLINK \l _Toc464867995 针对第四节结语、 PAGEREF _Toc464867995 \h 19 大数据基础上的数据查询 背景和意义 随着科技的高速发展，人类正在以前所未有的速度产生着大量的各种类型 的数据。尤其是伴随着云计算产业的落地，大数据也吸引了全社会的关注，成 为了为一个人们所熟知的概念。上到国家政府机关、科研机构、科技企业，下 到足球解说员、小报记者，都在谈论着大数据。这说明大数据不仅是一个数据 科学界的难题，也是全人类的难题，各行各业都在深刻地体会着大数据所带来 的机遇与挑战。 到底什么是大数据呢？通常，人们用四个V描述它。 第一个V是Volume，也就是量大。一组名为“互联网上的一天”的研究数据 告诉我们，一天之中，全球互联网产生的所有数据可以刻满1.68亿张DVD；发出 的电子邮件多达2940亿封（相当于美国在两年内发出的纸质信件数的总和）； 社交社区发出的帖子由200万个(相当于《时代》周刊发行770年的文字量)…… 截至2012年，人类产生的数据量已经从TB级别跃升至PB级别（1PB=1024TB）、 EB（1EB=1024PB）甚至（1ZB=1024EB）级别。根据国际数据公司（IDC）的研究 表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增 长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的 数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历 史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的 全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据 规模将达到今天的44倍。 第二个V是Variety，也就是种类繁多。除了传统的关系型数据，还有大量 的非关系型数据被大量的产生。要在这个海量的、种类繁多的数据中发现数据 间的关系，挖掘出知识，是一个相当困难的事情。在这个从互联网向物联网迈 进的时代，各种各样的计算设备通过网络