大数据环境下查询优化技术的应用性研究.docVIP

大数据环境下查询优化技术的应用性研究 摘要：本论文主要研究讨论大数据环境下查询优化技术。介绍了传统关系型数据库的查询优化技术，并重点介绍了大数据环境下的查询优化技术，包括分布式缓存技术、数据存储模型、数据分区与放置、海量数据处理方法MapReduce和Dryad、数据复制与容错技术、数据压缩技术等。最后总结了各种查询优化技术的优缺点，帮助人们更好的认识大数据查询优化技术，提高工作效率，节约资源。关键词：大数据；查询优化；节能11040 The Research for the Action-oriented Research for the Query Optimization Technique under the Big Date Environment Abstract：This thesis primarily researches the action-oriented research for the query optimization technique under the big date environment. It introduces the query optimization techniques of traditional relational date base. And it focuses on the query optimization techniques under the big date environment. It includes the distributed caching technology, the date storage model, date partition and placement,two approaches to massive dates: MapReduce and Dryad, Date replication and fault tolerance technology, date compression technique. In the end, it comes to conclude the advantages and disadvantages of he query optimization techniques. It aims at helping people understand the query optimization technique better, improve work efficiency and save resources. Key Words: Big Date Environment; Query optimization technique;Save resources. 摘要1 引言1 1.选题的意义及研究现状1 1.1选题的背景及意义1 1.2研究现状2 1.3研究方法和思路2 2.相关知识介绍2 2.1大数据及大数据中的海量数据存储环境2 2.2大数据相关的数据库3 1.3研究方法和思路 研究大数据环境下的查询优化技术，首先要熟悉和了解什么是大数据和大数据相关的数据库，认识大数据目前的发展状况和遇到的问题，在此基础上提出大数据环境下查询优化技术的重要性，介绍传统的关系型数据库的查询优化技术，从而研究大数据环境下的查询优化技术。 2.相关知识介绍 2.1大数据及大数据中的海量数据存储环境 2.1.1大数据的概念与意义 大数据(big data)，也可以称作为巨量资料，它所指的是所涉及的资料量规模巨大到无法通过当前社会的主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 数据，已经渗透到当今社会的每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的开发和应用，预示着新一波生产率增长和消费者盈余浪潮的到来。大数据作为继云计算、物联网之后又IT行业又一大颠覆性的技术革命。数据正在迅速膨胀并变大，它决定着的未来发展，虽然很多人可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据的重要性。 2.1.2大数据的特征和用途 大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。大数据的4个ldquo;Vrdquo;，或者说特点有四个层面：第一，数据体量非常大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快，1秒定律。 2.1.3大数据中的海量数据存储环境 大数据时代，企业数据量和数据种类出现飞速增长。数据来源也更